Hướng dẫn tối ưu WordPress Robots.txt hoàn hảo cho SEO

Tối ưu WordPress Robots.txt – Tệp tin Robots.txt giúp cho các công cụ tìm kiếm biết cách thu thập dữ liệu trang web của bạn, điều này làm cho nó trở thành một công cụ SEO cực kỳ mạnh mẽ.

Tệp tin Robots.txt giúp cho các công cụ tìm kiếm biết cách thu thập dữ liệu và lập chỉ mục trang web của bạn, điều này làm cho nó trở thành một công cụ SEO cực kỳ mạnh mẽ. Trong bài viết này, chúng tôi sẽ hướng dẫn bạn cách tối ưu WordPress Robots.txt hoàn hảo cho SEO.

Tệp robots.txt là gì?

Robots.txt là một tệp văn bản mà chủ sở hữu trang web có thể tạo để báo cho bot của các công cụ tìm kiếm cách thu thập dữ liệu và lập chỉ mục các trang trên trang web của họ.

Nó thường được lưu trữ trong thư mục gốc còn được gọi là thư mục chính của trang web. Định dạng cơ bản cho tệp robots.txt trông như thế này:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
Sitemap: [URL of your XML Sitemap]

Bạn có thể có nhiều dòng để cho phép hoặc không cho phép các URL cụ thể và thêm sơ đồ trang web. Nếu bạn không cho phép URL, thì bot của công cụ tìm kiếm cho rằng chúng được phép thu thập dữ liệu.

Đây là ví dụ về tệp robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

Trong ví dụ  ở trên, chúng tôi đã cho phép các công cụ tìm kiếm thu thập dữ liệu và lập chỉ mục các tệp trong thư mục uploads của WordPress .

Sau đó, chúng tôi không cho phép các bot tìm kiếm thu thập dữ liệu và lập chỉ mục các plugin và thư mục wp-admin.

Cuối cùng, chúng tôi đã cung cấp URL của sơ đồ trang web XML.

Bạn có cần một tệp Robots.txt cho trang web WordPress của mình không?

Nếu bạn không có một tập tin robots.txt, thì các công cụ tìm kiếm vẫn sẽ thu thập dữ liệu và lập chỉ mục trang web của bạn. Tuy nhiên, bạn sẽ không thể thông báo cho các công cụ tìm kiếm những trang hoặc thư mục nào họ không nên thu thập dữ liệu.

Điều này sẽ không ảnh hưởng nhiều khi bạn bắt đầu làm một blog và không có nhiều nội dung. Tuy nhiên, khi trang web của bạn phát triển và bạn có rất nhiều nội dung, thì bạn có thể muốn kiểm soát tốt hơn cách trang web của bạn được thu thập và lập chỉ mục.

Bot tìm kiếm có một hạn ngạch thu thập dữ liệu cho mỗi trang web. Điều này có nghĩa là họ thu thập dữ liệu một số trang nhất định trong phiên thu thập thông tin. Nếu họ không hoàn thành việc thu thập dữ liệu tất cả các trang trên trang web của bạn, thì họ sẽ quay lại và tiếp tục thu thập thông tin trong phiên tiếp theo.

Điều này có thể làm chậm tốc độ lập chỉ mục trang web của bạn. Bạn có thể khắc phục điều này bằng cách không cho phép các bot tìm kiếm cố gắng thu thập dữ liệu các trang không cần thiết như trang quản trị wp-admin, thư mục plugin và thư mục theme.

Bằng cách không cho phép các trang không cần thiết, bạn lưu hạn ngạch thu thập dữ liệu của mình. Điều này giúp các công cụ tìm kiếm thu thập dữ liệu nhiều trang hơn trên trang web của bạn và lập chỉ mục chúng càng nhanh càng tốt.

Một lý do chính đáng khác để sử dụng tệp robots.txt là khi bạn muốn ngăn các công cụ tìm kiếm lập chỉ mục một bài đăng hoặc trang trên trang web của bạn.

Đây không phải là cách an toàn nhất để ẩn nội dung khỏi các công cụ tìm kiếm, nhưng nó sẽ giúp bạn ngăn chúng xuất hiện trong kết quả tìm kiếm.

Tối ưu WordPress Robots.txt hoàn hảo cho SEO

Nhiều trang blog sử dụng tệp robots.txt rất đơn giản. Nội dung của chúng có thể khác nhau, tùy thuộc vào nhu cầu của trang web cụ thể:

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Tệp robots.txt này cho phép tất các bot lập chỉ mục tất cả nội dung và cung cấp cho chúng một liên kết đến sơ đồ trang web XML.

Đối với các trang web WordPress, chúng tôi khuyên dùng các quy tắc sau trong tệp robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Điều này nói với các bot tìm kiếm lập chỉ mục tất cả các hình ảnh và tệp WordPress. Nó không cho phép các bot tìm kiếm lập chỉ mục các tệp plugin, khu vực quản trị WordPress, tệp readme WordPress và các link liên kết.

Bằng cách thêm sơ đồ trang web vào tệp robots.txt, bạn có thể dễ dàng cho các bot của Google tìm thấy tất cả các trang trên trang web của bạn.

Bây giờ bạn đã biết một tệp robots.txt lý tưởng trông như thế nào, hãy để xem xét cách bạn có thể tạo tệp robots.txt trong WordPress.

Làm cách nào để tạo tệp Robots.txt trong WordPress?

Có hai cách để tạo tệp robots.txt trong WordPress. Bạn có thể chọn phương pháp phù hợp nhất với bạn.

Phương pháp 1: Chỉnh sửa tệp Robots.txt bằng SEO Yoast

Nếu bạn đang sử dụng plugin Yoast SEO, thì nó đã tích hợp sẵn trình tạo tệp robots.txt.

Bạn có thể sử dụng nó để tạo và chỉnh sửa tệp robots.txt trực tiếp từ trang quản trị WordPress của bạn.

Chỉ cần truy cập SEO »Tools » File editor.

Tại trang Files Editor SEO Yoast sẽ hiển thị tệp robots.txt hiện tại của bạn.

Tại đây bạn có thể tạo quy tắc robots.txt của riêng mình. Chúng tôi khuyên bạn nên sử dụng định dạng robots.txt lý tưởng mà chúng tôi đã chia sẻ ở trên.

Khi bạn đã hoàn tất, hãy nhấp vào nút “Save changes to robots.txt” để lưu các thay đổi của bạn.

Phương pháp 2. Chỉnh sửa tệp Robots.txt bằng cách sử dụng FTP

Đối với phương pháp này, bạn sẽ cần sử dụng ứng dụng khách FTP để chỉnh sửa tệp robots.txt. Chỉ cần kết nối với tài khoản hosting của bạn bằng FTP.

Khi đã vào trong, bạn sẽ có thể thấy tệp robots.txt trong thư mục gốc của trang web của bạn.

Nếu bạn không thấy file, thì có khả năng bạn không có tập tin robots.txt. Trong trường hợp đó, bạn có thể tạo một files mới

Kết luận

Chúng tôi hy vọng bài viết này đã giúp bạn tìm hiểu cách tối ưu WordPress Robots.txt cho SEO. Nếu có bất kỳ đóng góp nào bạn có thể để lại bình luận ở bên dưới. Bạn cũng có thể xem thêm một số hướng dẫn SEO WordPress của chúng tôi tại đây: