Hướng dẫn cách tạo file robots.txt cho website WordPress chi tiết nhất

Robots.txt là một tệp tin quan trọng trên website giúp điều hướng trình thu thập dữ liệu của các công cụ tìm kiếm. Bạn có thể dễ dàng cập nhật hoặc tạo mới file này bằng PC hay laptop. Hãy cùng chúng tôi tìm hiểu chi tiết cách tạo file robots.txt cho WordPress ngay trong bài viết sau đây.

File robots.txt là gì

Robots.txt là tập tin văn bản đơn giản với đuôi mở rộng là .txt. Tệp tin này là một phần của Robots Exclusion Protocol (REP), quy định cách Robot Web (hoặc Robot của các công cụ tìm kiếm) thu thập dữ liệu trên website, truy cập, index nội dung và cung cấp nội dung đó cho người dùng.

Robots.txt là một phần của Robots Exclusion Protocol

Cú pháp file robots.txt

Robots.txt có các cú pháp đặc biệt được xem là ngôn ngữ riêng bao gồm:

• User-agent: Đây là tên của các trình thu thập, truy cập dữ liệu web (ví dụ: Googlebot, Bingbot, …).
• Disallow: Được sử dụng để thông báo cho các User-agent không được phép thu thập bất kỳ dữ liệu URL cụ thể nào. Mỗi URL chỉ được sử dụng một dòng Disallow.
• Allow (chỉ áp dụng cho bộ tìm kiếm Googlebot): Lệnh thông báo cho Googlebot rằng nó có thể truy cập một trang hoặc thư mục con, mặc dù các trang hoặc thư mục con có thể không được phép.
• Crawl-delay: Thông báo cho các Web Crawler biết rằng phải đợi bao lâu trước khi tải và thu thập nội dung của trang. Tuy nhiên, lưu ý rằng bộ tìm kiếm Googlebot không thừa nhận lệnh này và bạn phải cài đặt tốc độ thu thập dữ liệu trong Google Search Console.
• Sitemap: Được sử dụng để cung cấp các vị trí của bất kỳ Sitemap XML nào được liên kết với URL này. Lưu ý rằng chỉ có các công cụ tìm kiếm Google, Ask, Bing và Yahoo hỗ trợ lệnh này.

File robots.txt bao gồm nhiều cú pháp khác nhau

Tạo file robots.txt để làm gì

Robots.txt là một file được đặt trên máy chủ web để hướng dẫn các robot của công cụ tìm kiếm về cách truy cập vào trang web. Việc tạo file robots.txt có thể giúp cải thiện việc tìm kiếm và xếp hạng của trang web bởi công cụ tìm kiếm.

File robots.txt cho phép bạn chỉ định các phần của trang web mà các robot của công cụ tìm kiếm được phép truy cập hoặc bị cấm truy cập. Ví dụ, nếu bạn có một trang web chứa các trang đăng nhập hoặc dữ liệu nhạy cảm, bạn có thể sử dụng robots.txt để ngăn các robot của công cụ tìm kiếm truy cập vào các trang này.

Việc tạo file robots.txt không phải là bắt buộc, tuy nhiên, nó là một trong những cách tốt nhất để giúp công cụ tìm kiếm hiểu rõ hơn về trang web của bạn và cải thiện việc hiển thị kết quả tìm kiếm.

File robots.txt giúp công cụ tìm kiếm hiểu rõ hơn về Website của bạn

Cách hoạt động của file robots.txt

Quá trình sử dụng file robots.txt để kiểm soát việc crawl dữ liệu của các công cụ tìm kiếm diễn ra như sau:

1. Bước 1: Công cụ tìm kiếm sẽ sử dụng phương pháp crawl (cào/phân tích) để thu thập dữ liệu từ các trang web khác nhau bằng cách theo dõi các liên kết. Quá trình crawl này còn được gọi là “Spidering” và nó giúp khám phá nội dung của trang web.
2. Bước 2: Sau khi thu thập được dữ liệu, công cụ tìm kiếm sẽ index nội dung đó để trả lời các yêu cầu tìm kiếm của người dùng. File robots.txt được sử dụng để cung cấp thông tin về cách các công cụ tìm kiếm thu thập dữ liệu từ trang web. Bằng cách sử dụng file robots.txt, các bot có thể được hướng dẫn để thu thập dữ liệu một cách chính xác và hiệu quả.

Bot công cụ tìm kiếm sẽ crawl để thu thập dữ liệu

File robots.txt nằm ở đâu trên website

Khi tạo một trang web WordPress, hệ thống sẽ tự động tạo ra một file robots.txt và đặt nó trong thư mục gốc của server. Thông thường, file này sẽ cấm bots truy cập vào các thư mục quan trọng như wp-admin hoặc wp-includes.

Cụ thể, quy tắc “User-agent: *” được áp dụng cho tất cả các loại bots trên trang web và “Disallow: /wp-admin/” và “Disallow: /wp-includes/” cho biết bots không được phép truy cập vào hai thư mục này.

File robots.txt nằm trong thư mục gốc

Kiểm tra website có file robots.txt hay không

Để xác nhận sự tồn tại của file robots.txt trên website, bạn có thể thực hiện theo các bước sau:

1. Bước 1: Nhập Root Domain của website vào thanh địa chỉ trên trình duyệt.
2. Bước 2: Chèn /robots.txt vào cuối địa chỉ (ví dụ: abcdef.com/robots.txt).
3. Bước 3: Nhấn Enter để truy cập vào file robots.txt của website.

Nếu website có file robots.txt, bạn sẽ thấy nội dung của file được hiển thị trên trình duyệt. Ngược lại, nếu không có file này, bạn sẽ nhận được thông báo lỗi từ trình duyệt.

Cấu trúc kiểm tra file robots.txt của website

Quy tắc nào cần được bổ sung vào file robots.txt WordPress

File robots.txt trên WordPress thường chỉ xử lý một quy tắc tại một thời điểm. Tuy nhiên, nếu bạn muốn áp dụng các quy tắc khác nhau cho các bot khác nhau, bạn có thể thêm từng bộ quy tắc trong phần khai báo User-agent cho mỗi bot.

Các quy tắc trong file robots.txt

Các cách tạo file robots.txt WordPress

Dùng Yoast SEO

1. Bước 1: Truy cập vào WordPress Dashboard.
2. Bước 2: Chọn mục SEO trong danh sách menu bên trái và sau đó chọn Tools.
3. Bước 3: Chọn File editor để chuyển đến trang chỉnh sửa các tệp liên quan đến SEO, tại đây bạn có thể tạo, chỉnh sửa và lưu file robots.txt.

Bạn có thể chỉnh sửa file robots.txt tại các vị trí như trên hình

Qua bộ Plugin All in One SEO

1. Bước 1: Truy cập vào giao diện chính của plugin All in One SEO Pack.
2. Bước 2: Chọn All in One SEO > Chọn Feature Manager > Nhấp Activate cho tính năng Robots.txt.
3. Bước 3: Tạo và tinh chỉnh file robots.txt cho WordPress của bạn.

Vị trí tạo và chỉnh sửa file robots.txt

Tạo rồi upload file robots.txt qua FTP

• Bước 1: Sử dụng Notepad hoặc TextEdit để tạo mẫu file robots.txt WordPress.
• Bước 2: Sử dụng FTP để truy cập thư mục public_html và tìm file robots.txt.
• Bước 3: Tải lên file robots.txt mới tạo lên đó.

Tải file robots.txt lên FTP

Một số quy tắc khi tạo file robots.txt

• Đặt tệp robots.txt WordPress ở thư mục cấp cao nhất của trang web để các bot có thể tìm thấy.
• Tên file phải đúng định dạng và không phân biệt chữ hoa chữ thường, đặt tên là robots.txt thay vì “Robots.txt” hoặc “robots.TXT”.
• Không nên sử dụng các mục Disallow để chặn /wp-content/themes/ hoặc /wp-content/plugins/ để tránh làm ảnh hưởng đến việc đánh giá giao diện blog hoặc website.
• Không nên sử dụng file này để giấu thông tin cá nhân vì tệp tin này công khai trên web.
• Mỗi Subdomain trên một Root Domain sẽ có các file robots.txt riêng.

Mỗi subdomain sở hữu một file robots.txt riêng

Một số lưu ý khi sử dụng file robots.txt

• Các liên kết trên trang bị chặn bởi robots.txt sẽ không được các bots theo dõi trừ khi các liên kết này có liên kết với các trang khác.
• Không nên sử dụng file robots.txt để ngăn dữ liệu nhạy cảm xuất hiện trong kết quả tìm kiếm vì các bots có thể bỏ qua chỉ thị của tệp.
• Các công cụ tìm kiếm sẽ lưu trữ nội dung file robots.txt, nhưng vẫn thường cập nhật nội dung trong bộ nhớ cache ít nhất một lần một ngày.
• Nếu muốn chặn trang web khỏi các kết quả tìm kiếm hoàn toàn, hãy sử dụng mật khẩu bảo vệ hoặc Noindex Meta Directive.

Trên đây là tổng quan và cách tạo file robots.txt cho WordPress. Nếu còn bất kỳ thắc mắc nào về tệp robots, bạn vui lòng để lại bình luận để được chuyên gia hỗ trợ giải đáp.