Bui Vietđăng trongTài liệu>Seo
14/09/2018
14 lượt đánh giá
5.0 5 14

robots.txt

robots.txt là gì?

Hiệu về các đường link, danh mục không được phép hoặc được phép thu thập dữ liệu thông qua hai lệnh “disallow” và “allow”.

Ví dụ

User-agent: [tên bot]

Disallow: [URL muốn chặn index]

Trên đây là 2 yếu tố cấu thành một tệp robots.txt hoàn chỉnh. Ngoài ra file robots.txt có thể chứa rất nhiều dùng cùng những yêu cầu (disallows, allows, crawl-delays, etc.)

Thông thường, file robots.txt có rất nhiều lệnh và mỗi lệnh thường được viết riêng biệt và cách nhau bởi 1 dòng.

Ví dụ:

User-agent: Googlebot

Disallow: /

 

User-agent: metajobbot

Disallow: /admin/

 

User-agent: AhrefsBot

Disallow: /

 

Với tệp robots.txt bạn có thể chỉ định nhiều lệnh cho các bot bằng cách viết liên tục các lệnh không cách dòng. Trong trường hợp một file robots.txt có nhiều lệnh đối với 1 loại bot thì mặc định bot sẽ làm theo lệnh được viết rõ và đầy đủ nhất.

Ví dụ:

User-agent: Googlebot News

Disallow: /admin/

Disallow: /tin-tuc/

Disallow: /*id=

 

User-agent: Googlebot

Disallow: /admin/

Disallow: /bai-viet/

Disallow: /*?p=

 

User-agent: *

Disallow: /*.gif

Trong ví dụ tên Googlebot News, Googlebot có những lệnh riêng do đó khi truy cập webite 2 bot này phải thực hiên theo đúng lệnh. Còn đối với các bot khác trên mạng sẽ thực hiện theo lệnh của nhóm có User-agent: *

 

Một vài ví dụ về file robots

Chặn tất cả bot  truy cập website

User-agent: *

Disallow: /

Lệnh trên  yêu cầu các bot không được phép thu thập dữ liệu website kể cả nội dung trang chủ.

 

Cho phép tất cả bot thu thập nội dung

User-agent: *

Disallow:

Lệnh trên cho phép toàn bộ các bot thu thập thông tin toàn bộ website kể cả trang chủ.

 

Chặn 1 loại bot cụ thể truy cập nội dung

User-agent: Googlebot

Disallow: /admin/

Cú pháp này có nghĩa với bot Googlebot không được phép truy cập vào bất kỳ một trang nào có chứa /admin/ để thu thập dữ liệu.

 

Chặn bot truy cập một trang cụ thể

User-agent: AhrefsBot

Disallow: /tin-tuc/cong-cu-seo-moi.html

Cú pháp này chặn AhrefsBot thu thập dữ liệu của trang cụ thẻ với url = http://congdongspin.com/tin-tuc/cong-cu-seo-moi.html

 

Cách hoạt động của file robots.txt

Các bot thu thập thông tin có 2 chức năng chính:

  1. Thu thập dữ liệu website để khám phá nội dung
  2. Lập chỉ mục nội dung, xếp hạng website để trả lời các truy vấn.

Để thu thập thông tin website, công cụ tìm kiếm di chuyển qua các liên kết trên website để lấy nội dung và xếp loại. Tuy nhiên với hàng tỷ website và liên kết khác nhau quá trình này đôi khi tốn quá nhiều thời gian.

Bởi vậy, khi đến một wbeist bất kỳ các trình thu thập dữ liệu sẽ tìm đến file robots.txt đầu tiên. Nếu tìm thấy bot sẽ đọc các lệnh trong file trước khi bắt đầu thu thập nội dung trên trang web. Như ở các ví dụ trên, nếu một bot được thông báo một lệnh riêng biệt bot đó sẽ thực hiện theo yêu cầu của nhà quản trị tuy nhiên trong một vài trường hợp bot không tìm thấy bất kỳ lệnh nào bot sẽ tiến hành thu thập nội dung.

 

Những điều cần biết về file robots.txt

  1. Tệp phải được đặt ở cấp cao nhất của website.
  2. Robots.txt phân biệt giữa chữa hoa và chữ thường bởi vậy file phải đặt lên là “robots.txt” ( không được đặt Robots.txt hay robots.TXT hoặc các cách khác).
  3. Một vài bot có thể bỏ qua file robots khi thu thập thông tin. Thường xảy ra với các bot thu thập dữ liệu ngầm không được công nhận (Đa phần là các bot của phần mềm độc hại).
  4. File robots.txt phải có sẵn và đặt ở chế độ công khai: Người dùng chỉ cần thêm /robots.txt vào cuối bất kỳ tên miền nào để xem những lệnh mà nhà quản trị web đối với bot.
  5. Mỗi subdomain nên có một file robots.txt riêng. Có nghĩa là với 2 dạng domain blog.congdongspin.com và congdongspin.com sẽ có 2 file robot riêng là blog.congdongspin.com/robots.txt và congdongspin.com/robots.txt.
  6. Để khai báo sitemap của website bạn có thể thêm link sitemap trong file robots.txt với cú pháp “sitemap: link sitemap”.

 

Các thuật ngữ thường gặp trong robots.txt

User-agent: tên bot mà bạn đang muốn cung cấp hướng dẫn để bot thu thập thông tin

Disallow: lệnh chặn không cho thu thập thông tin một nhóm hoặc một url cụ thể

Allow (chỉ áp dụng với googlebot): Lệnh này cho phép Googlebot có thể thu thập nội dung một trang mặc dù thư mục cha của trang đó bị cấm

Crawl-delay: Thời gian bot nên quay lại để thu thập thông tin. Lệnh này không có tác dụng đối với Googlebot, nếu muốn bạn nên cài đặt thời gian thu thập dữ liệu trong google search console

Sitemap: Đường link dẫn đến vị trí của file sitemap.xml. Chỉ có hiệu lực với google, ask, bing và yahoo.

 

Hướng dẫn so khớp link trong robots.txt

Thông thường file robots.txt rất đơn giản chỉ cần nhập đường link theo cấp nhưng để giảm thời gian nhập dữ liệu nhà quản trị web có thể sử dụng hai ký tự $ và * trong đó:

  • * Phù hợp với bất kỳ ký tự hoặc số nào nằm trước
  • $ khớp với phần cuối URL

Bạn có thể xem bản đầy đủ của google tại đây: https://support.google.com/webmasters/answer/6062596?hl=vi

Tại sao website cần có file robots.txt

  1. Robots.txt giúp bạn có nhiều quyền quản trị đối với các bot của trình thu thập thông tin bao gồm ngăn, cho phép, thời gian cho phép truy cập lại.Ngoài ra trong một số trường hợp file robots.txt rất có ích như:
  2. Ngăn nội dung trùng lập xuất hiện trên SERPs.
  3. Ngăn các trang tìm kiếm nội bộ xuất hiện trên SERPs.
  4. Thông báo đường dẫn url của sitemaps.
  5. Giữ website không index các phần riêng tư như: trang thử nghiệm, nội dung chưa hoàn chỉnh...
  6. Ngăn không cho bot index các file word, excel, pdf.
  7. Ngăn tình trạng quá tải băng thông bởi các bot tải nhiều phần nội dung webiste cùng lúc.

 

Cách kiểm tra website có có file robots.txt hay không

Bạn chỉ cần thêm /robots.txt vào cuối tên miền. Nếu có một page hiện ra thì webiste đã có file robots còn trong trường hợp lỗi 404 hoặc các thông báo khác thì website chưa có.

Bình luận
Bài viết ngẫu nhiên
Ngô Bíđăng trongTài liệu>Marketing
07/11/2018
Những sai lầm cần tránh nếu không muốn mất tiền oan khi quảng cáo Facebook
Những sai lầm cần tránh nếu không muốn mất tiền oan khi quảng cáo Facebook
Hầu hết những người mới bắt đầu việc chạy quảng cáo Facebook, chưa có nhiều kinh nghiệm thì thường phải đối mặt với việc chiến dịch quảng cáo không hiệu quả, không ra đơn hàng, không đạt được mục tiêu chung đã đề ra mà ...
0 7952
6 lượt đánh giá
Ngô Bíđăng trongTài liệu>Thiết kế website
06/09/2018
Hướng dẫn tạo website bằng Wordpress cơ bản với 5 bước.
Hướng dẫn tạo website bằng Wordpress cơ bản với 5 bước.
Để tạo 1 website wordpress cơ bản gồm 3 phần : Source (Mã nguồn website) , Domain (tên miền website), Hosting Linux (nơi lưu trữ mã nguồn). Source wordpress các bạn có thể download ở đây : https://wordpress.org/...
0 13033
16 lượt đánh giá
Ngô Bíđăng trongTài liệu>Marketing
21/10/2018
Hướng dẫn lên chiến lược Marketing hiệu quả
Hướng dẫn lên chiến lược Marketing hiệu quả
Với sự phát triển của khoa học kỹ thuật hiện đại đã kéo theo sự thay đổi không ngừng của những chiến dịch Digital Marketing trong thời điểm này. Sự cạnh tranh trên các lĩnh vực kinh doanh ngày càng gia tăng đòi hỏi các ...
0 11017
11 lượt đánh giá
Bui Vietđăng trongTài liệu>Seo
17/09/2018
Meta robots và x-robots-tag
Meta robots và x-robots-tag
Một là thẻ nằm trong HTMl của trang. Hai là thẻ được gửi dưới dạng tiêu đều HTTP là x-robots-tag. Cả 2 loại meta robots và x-robots-tag đều sử dụng các tham số giống nhau để gửi yêu cầu đến bot. Điều khác biệt chính giữa 2 loại thẻ robots này là cách thông số được truyền đi.
0 4458
15 lượt đánh giá
Mai Huỳnhđăng trongTài liệu>Seo
18/09/2018
Liên kết nội bộ Internal Link là gì và tối ưu hóa như thế nào?
Liên kết nội bộ Internal Link là gì và tối ưu hóa như thế nào?
Liên kết nội bộ Internal Link Liên kết nội bộ là một siêu liên kết trỏ đến trên cùng một tên miền. Nói một cách khác dễ hiểu hơn, liên kết nội bộ là link trỏ đến một trang khác trên cùng một website. Mẫu code link nộ...
0 3550
14 lượt đánh giá
Copyright © 2018 Spineditor