Robots Meta Directives và 11 thông số kiểm soát lập chỉ mục

Website của bạn đang gặp vấn đề về lập chỉ mục? Robots Meta Directives đóng vai trò như thế nào trong quá trình kiểm soát lập chỉ mục. Nếu trang của bạn không được lập chỉ mục thì việc thực hiện SEO sẽ bị ảnh hưởng nghiêm trọng. Hãy cũng tìm hiểu về Robots Meta Directives cùng Sento Ads nhé!

Tham khảo video hữu ích dưới đây:

Robots Meta Tags | Lesson 9/34 | SEMrush Academy

Mục lục bài viết

1.Thẻ Robots Meta Directives là cái gì?

Thẻ Robots Meta Directives đôi khi còn được gọi là thẻ meta. Đây là các đoạn mã cung cấp hướng dẫn cho trình thu thập thông tin hoặc lập chỉ mục nội dung trang web. Trong khi chỉ thị tệp robots.txt cung cấp cho bot các đề xuất về cách thu thập dữ liệu các trang web của bạn. Việc chỉ thị meta rô bốt cung cấp hướng dẫn chắc chắn hơn về cách thu thập thông tin và lập chỉ mục nội dung của trang.

Có hai loại chỉ thị meta robot:

Những chỉ thị là một phần của trang HTML
Những chỉ thị mà máy chủ web dưới dạng tiêu đề HTTP

Các thông số tương tự, hướng dẫn thu thập thông tin hoặc lập chỉ mục mà thẻ meta cung cấp. Chẳng hạn như “noindex” và nofollow” có thể được sử dụng với cả meta robot và thẻ x-robot. Điều khác biệt là cách các thông số đó được truyền đạt đến trình thu thập thông tin.

Robots meta Directives cung cấp cho trình thu thập thông tin hướng dẫn về cách thu thập thông tin và lâọ chỉ mục thông tin họ tìm thấy trên trang một cách cụ thể. Nếu các lệnh này được phát hiện bởi bot, các tham số của chúng ta sẽ đóng vai trò là gợi ý mạnh mẽ cho hành vi lập chỉ mục của trình thu thập thông tin. Nhưng với tệp robots.txt trình thu thập thông tin không phải tuân theo chỉ thị meta của bạn. Vì vậy, có thể an toàn rằng một số robot web độc hại sẽ bỏ qua chỉ thị của bạn.

2. Các thông số kiểm soát lập chỉ mục.

Noindex: Yêu cầu công cụ tìm kiếm không lập chỉ mục một trang.
Chỉ mục: Cho cong cụ tìm kiếm lập chỉ mục một trang. Lưu ý rằng bạn không cần thêm thẻ meta này nó là mặc định.
Theo dõi: Ngay cả khi trang không được lập chỉ mục, trình thu thập thông tin phải theo dõi tất cả các liên kết trên một trang và chuyển vốn chủ sở hữu đến các trang được liên kết.

Nofollow: Yêu cầu trình thu thập thông tin không đi theo bất kỳ liên kết nào trên một trang hoặc chuyển theo bất kỳ liên kết nào.
Noimageindex: Yêu cầu trình thu thập thông tin không lập chỉ mục bất kỳ hình ảnh nào trên một trang.
Không có: Tương đương với việc sử dụng đồng thời cả hai thẻ noindex và nofollow.
Noarchive: Công cụ tìm kiếm không được hiển thị liên kết được lưu trong trong bộ nhớ cache đến trang này trên SERP.

Nocache: Giống như noarchive nhưng chỉ được sử dụng bởi Internet Explorer và Firefox.
Nosnippet: Yêu cầu công cụ tìm kiếm không hiển thị đoạn mã của trang này.
Noodyp / noydir [OBSOLETE]: Ngăn các công cụ tìm kiếm sử dụng mô tả DMOZ của trang làm đoạn mã SERP cho trang này. Tuy nhiên, DMOZ đã ngừng hoạt động vào năm 2017 khiến thẻ này trở nên lỗi thời.
Unavailable_after: Các công cụ tìm kiếm sẽ không còn lập chỉ mục trang này sau một ngày cụ thể.

3. Các loại chỉ thị Robots Meta Directives.

Có hai loại chỉ thị meta robot chính: Thẻ meta robot và thẻ x – robot. Bất kỳ thông số nào có thể được sử dụng trong thẻ meta robot cũng có thể chỉ định trong thẻ meta robot cũng có thể được chỉ định trong thẻ x – robot.

Thẻ meta robot

Thẻ meta robot thường được gọi là robot meta hoặc thông thường là thẻ robot là một phần của mã HTML của trang web và xuất hiện dưới các dạng phần tử trong <head> phần của trang web:

Code sample

Mặc dù <meta name= “robot” content= “[PARAMETER]”> thẻ chung là thẻ tiêu chuẩn, nhưng bạn cũng có thể cung cấp chỉu thị cho các trình thu thập thông tin cụ thể bằng cách thay thế “robot” bằng tên của tác nhân người dùng cụ thể.

Bạn muốn sử dụng nhiều chỉ thị trên một trang? Miễn là chúng được nhắm mục tiêu đến cùng một “robot” điều chỉ thị có thể được đưa vào một chỉ thị meta – chỉ cần phân tách chúng bằng dấu phẩy. Đây là một ví dụ:

<meta name = "robots" content = "noimageindex, nofollow, nosnippet">

Thẻ này sẽ yêu cầu robot không lập chỉ mục bất kỳ hình ảnh nào trên trang, theo bất kỳ liên kết nào hoặc hiển thị đoạn mã của trang khi nó xuất hiện trên SERP. Nếu bạn đang sử dụng các lệnh thẻ meta robot khác nhau cho các tác nhân người dùng tìm kiếm khác nhau, bạn sẽ cần sử dụng các thẻ riêng biệt cho từng bot.

Thẻ X – Robot

Mặc dù thẻ meta robot cho phép bạn kiểm soát hành vi lập chỉ mục ở cấp độ trang. Thẻ X – robot có thể được bao gồm như một thẻ tiêu đề HTTP để kiểm soát việc lập chỉ mục toàn bộ trang.

Mặc dù bạn có thể sử dụng thẻ x – robot – tags để thực thi các lệnh lập chỉ mục giống như meta robot. Nhưng lệnh thẻ x-robot mang lại tính linh hoạt và chức năng cao hơn đáng kể mà thẻ meta robot không có. Cụ thể, x – robot cho phép sử dụng các biểu thức chính quy. Thực hiện lệnh thu thập thông tin trên các tệp không phải HTML và áp dụng các tham số ở cấp độ toàn cầu.

Dưới đây là một số trường hợp sử dụng giải thích lý do tại sao bạn có thể sử dụng thẻ x-robots.

Kiểm soát việc lập chỉ mục của nội dung không được viết bằng HTML (như flash hoặc video)
Chặn lập chỉ mục của một phần tử cụ thể của trang (như hình ảnh hoặc video), nhưng không phải của toàn bộ trang
Kiểm soát lập chỉ mục nếu bạn không có quyền truy cập vào HTML của trang (cụ thể là vào phần <head>) hoặc nếu trang web của bạn sử dụng tiêu đề chung không thể thay đổi
Thêm quy tắc về việc một trang có nên được lập chỉ mục hay không (ví dụ: nếu người dùng đã nhận xét hơn 20 lần, hãy lập chỉ mục trang hồ sơ của họ)

SENTO ADS tự hào mang đến cho bạn những thông tin và dịch vụ Marketing chuyên nghiệp và hiện đại nhất. Liên hệ với chúng tôi qua hotline toàn quốc: 0904.344.888 . Bạn sẽ được tư vấn và phục vụ trên toàn quốc trong thời gian sớm nhất.

Từ khóa: