Bui Vietđăng trongTài liệu>Seo
17/09/2018
15 lượt đánh giá
5.0 5 15

Meta robots và x-robots-tag

Thẻ meta robots directives là thẻ hướng dẫn các bot cách thu thập nội dung và lập chỉ mục trên trang web. Trong khi file robots.txt cung cấp toàn bộ thông tin đề xuất cho các bot về cách thu thập nội dung website ở cấp độ website thì meta robots sẽ cung cấp hướng dẫn giành cho các bot ở cấp độ page.

Có hai loại thẻ meta robots: Một là thẻ nằm trong HTMl của trang và một thẻ được gửi dưới dạng tiêu đều HTTP là x-robots-tag. Cả 2 loại meta robots và x-robots-tag đều sử dụng các tham số giống nhau để gửi yêu cầu đến bot. Điều khác biệt chính giữa 2 loại thẻ robots này là cách thông số được truyền đi.

Thông số thẻ meta robots

Các chỉ dẫn trong thẻ meta sẽ giúp cho các trình thu thập thông tin hiểu thêm về cách thu thập dữ liệu, lập chỉ mục nội dung trên một url cụ thể. Khi thu thập nội dung nếu bot phát hiện các thông số này chúng sẽ đóng vai trò là hướng dẫn cuối cùng đối với bot. Cũng giống như file robots.txt một số bot có thẻ bỏ qua hướng dẫn mà tiến hành thu thập toàn bộ nội dung.

Dưới đây là các thông số thường được sử dụng trong thẻ meta. Các thông số không phân biệt chữ hoa, chữ thường.

Các thông số

Noindex: yêu cầu không lập chỉ mục.

Index: yêu cầu công cụ tìm kiếm lập chỉ mục nội dung ( thẻ mặc định).

Follow: trong trường hợp trang được yêu cầu không lập chỉ mục, khi gặp thẻ này các bot vẫn truy cập các liên kết và chuyển độ trust cho các trang được liên kết.

Nofollow: không theo các liên kết trên trang này" hoặc "Không theo liên kết cụ thể này”.

Noimageindex: thông báo không index toàn bộ image trên page.

None: tác dụng giống với việc sử dụng đồng thời 2 lệnh noindex và nofollow.

Noarchive: Chặn không cho bot google lưu lại cached website.

Nocache: tương tự thẻ noarchive nhưng chỉ sử dụng cho IE và Firefox.

Nosnippet: ngăn không cho hiển thị một đoạn trích hoặc xem trước video bên trong kết quả tìm kiếm. Có một số trường hợp hình ảnh đại diện sẽ được hiển thị thay thế cho video.

Unavailable_after: công cụ tìm kiếm không lập chỉ mục của trang sau thời điểm được chỉ định.

 

Các loại meta robot

Có 2 loại meta robot chính: Robots meta tag và X-Robots-Tag. Cả 2 loại thẻ robots đều sử dụng chung các thông số ở trên.

Thẻ meta robots

Là một phần của mã HTMl nằm trong thẻ <head> của website. Dưới đây là mẫu thẻ meta robots cơ bản

<meta name = “robots” content = “[Thông số]”>

Đây là cấu trúc tiêu chuẩn cho thẻ robots meta tuy nhiên bạn cũng có thể cấu hình thẻ để nhắm mục tiêu chi tiết vào một loại bot cụ thể như sau.

 

<meta name = “googlebot” content = “[Thông số]”>

Thẻ trên là một ví dụ dùng thẻ meta robots dành riêng cho googlebot.

 

Trong trường hợp bạn muốn thêm nhiều thông số trong thẻ thì phải phân tách các thông số bằng dấu “,”.

<meta name = “robots” content = “noimageindex”, “nofollow”, “nosnippet”>

hoặc

<meta name = “robots” content = “noimageindex, nofollow, nosnippet”>

Cả 2 cách viết trên đều có chung ý nghĩa yêu cầu bot không index image, không theo bất kỳ liên kết nào và ngăn không cho hiển thị đoạn trích trên SERP.

X-robot-tag

Thay vì sử dụng thẻ meta robots bạn cũng có thể xử dụng thẻ X-robots-tag để thay thế. Bất kỳ thông số nào dung cho meta robots đều có thể sử dụng trong X-robots-tag.

Ví dụ về x robots tag

Ưu điểm nổi bật nhất đối với thẻ X-robots-tag là có thẻ áp dụng các biểu thức chính quy regex để cấu hình.

Ví dụ:

Thẻ thông thường

X-robots-tag: noindex, mofollow, nosnippet

Sử dụng biểu thức chính quy

<Files ~ "\.(png|jpe?g|gif)$">

 Header set X-Robots-Tag "noindex"

</Files>

Để cấu hình thẻ x-robots-tag bạn cần có quyền truy cập vào file .htaccess, máy chủ hoặc file header của website.

Một số trường hợp nên sử dụng thẻ x-robot

  • Kiểm soát việc lập chỉ mục các thành phần nội dung như video, flash
  • Chặn không cho index một thành phần cụ thể của trang.
Bình luận
Bài viết ngẫu nhiên
Bí Ngôđăng trongTài liệu>Marketing
19/11/2018
6 Tip hay giúp bạn tối ưu hóa Fanpage Facebook hiệu quả
6 Tip hay giúp bạn tối ưu hóa Fanpage Facebook hiệu quả
Trong thời đại như hiện này, thì các mạng xã hội đang dần trở thành một kênh truyền thông, bán hàng phổ biến. Và Facebook được xem là một trong các trang mạng xã hội lớn nhất Việt Nam hiện nay. Để có thể tối ưu hóa fan...
0 2181
7 lượt đánh giá
Mai Huỳnhđăng trongTài liệu>Seo
11/10/2018
6 lý do khiến lưu lượng truy cập của website giảm
6 lý do khiến lưu lượng truy cập của website giảm
Thỉnh thoảng lưu lượng truy cập của một website có sự biến đổi. Có lúc tăng và có lúc giảm. Thật khó để xác định rõ lý do tại sao traffic bị sụt giảm. Dưới đây là những lý do phổ biến, bạn có thể tham khảo để kiểm soát ...
0 15101
14 lượt đánh giá
Bí Ngôđăng trongTài liệu>Thiết kế website
01/10/2018
Tổng Hợp Wordpress Themes Miễn Phí, Đẹp Và Mới Nhất 2018
Tổng Hợp Wordpress Themes Miễn Phí, Đẹp Và Mới Nhất 2018
Khi bắt đầu vào làm website bằng Wordpress, ngoại trừ domain và hosting là 2 yếu tố bạn cần trả phí thì những phần khác như themes, plugins…bạn hoàn toàn có thể dùng miễn phí. Việc sử dụng các giao diện wordpress mi...
0 13564
22 lượt đánh giá
Bí Ngôđăng trongTài liệu>Marketing
16/10/2018
Tổng quan về Digital Marketing cho người mới bắt đầu
Tổng quan về Digital Marketing cho người mới bắt đầu
Digital Marketing còn là một lĩnh vực mới đối với bạn? Hãy xem các Marketer hiện nay ở Việt Nam chia sẻ thông tin về lĩnh vực này nhé. Bài viết sẽ giúp bạn hệ thống thông tin cơ bản nhất, từ đó có cái nhìn khái quát và ...
0 14689
7 lượt đánh giá
Bí Ngôđăng trongTài liệu>Marketing
19/10/2018
Lựa chọn ảnh quảng cáo facebook
Lựa chọn ảnh quảng cáo facebook
Một mẫu quảng cáo Facebook được xem là hoàn hảo thì không thể không kể đến yếu tố hình ảnh. Nó quyết định đến 80% khả năng khách hàng có click vào mẫu quảng cáo của bạn hay không. Do đó việc lựa chọn hình ảnh quảng cáo...
0 7396
12 lượt đánh giá
Copyright © 2018 Spineditor