file robots.txt
On-Page | SEO cơ bản | Techical

Hướng dẫn tạo file robots.txt WordPress và cách tối ưu nó cho SEO

Bạn đã bao giờ nghe đến thuật ngữ robots.txt và tự hỏi làm thế nào nó áp dụng cho trang web của bạn? Hầu hết các trang web đều có file robots.txt, nhưng điều đó không có nghĩa là hầu hết các quản trị viên web đều hiểu nó.

Trong bài đăng này, chúng tôi hy vọng sẽ thay đổi điều đó bằng cách:

  • Cung cấp thông tin chi tiết về file robots.txt của WordPress.
  • Có thể kiểm soát và giới hạn quyền truy cập vào trang web của bạn. Bạn sẽ có thể trả lời các câu hỏi như: WordPress Robots.txt là gì?,…

SEO vượt xa nghiên cứu từ khóa và xây dựng backlink. Ngoài ra còn có một khía cạnh kỹ thuật của SEO sẽ ảnh hưởng phần lớn đến xếp hạng tìm kiếm của bạn.

Đây là khu vực mà file robots.txt của bạn sẽ trở thành một yếu tố rất quan trọng.

Theo kinh nghiệm của tôi, hầu hết mọi người không quá quen thuộc với file robots.txt và không biết bắt đầu từ đâu. Đó là những gì đã truyền cảm hứng cho tôi để tạo ra hướng dẫn này.

Có rất nhiều thứ để bao gồm vì vậy hãy bắt đầu!

File Robots.txt WordPress là gì?

Trước khi chúng ta có thể nói về robots.txt của WordPress, điều quan trọng là phải xác định “rô bốt” là gì trong trường hợp này. Robot là bất kỳ loại “bot” nào truy cập các trang web trên Internet.

Ví dụ phổ biến nhất là trình thu thập thông tin của công cụ tìm kiếm. Các bot này “thu thập dữ liệu” trên web để giúp các công cụ tìm kiếm như Google lập chỉ mục và xếp hạng hàng tỷ trang trên Internet.

Nói chung: bot là một thứ tốt cho Internet… hoặc ít nhất là một thứ cần thiết. Nhưng điều đó không nhất thiết có nghĩa là bạn hoặc các quản trị viên web khác, muốn các bot chạy xung quanh mà không bị kiểm soát. Mong muốn kiểm soát cách robot web tương tác với các trang web đã dẫn đến việc tạo ra tiêu chuẩn loại trừ robot vào giữa những năm 1990.

Robots.txt là sự triển khai thực tế của tiêu chuẩn đó. Nó cho phép bạn kiểm soát cách các bot tham gia tương tác với trang web của bạn . Bạn có thể chặn hoàn toàn bot, hạn chế quyền truy cập của chúng vào các khu vực nhất định trên trang web của bạn, v.v.

Khi một bot của công cụ tìm kiếm đang thu thập dữ liệu một trang web nào đó. Nó sẽ sử dụng file robots.txt để xác định những phần nào của trang web cần được lập chỉ mục.

Sơ đồ trang web được lưu trữ trong thư mục gốc của bạn và trong file robots.txt. Bạn tạo sơ đồ trang web để giúp các công cụ tìm kiếm lập chỉ mục nội dung của bạn dễ dàng hơn.

Hãy coi file robots.txt của bạn giống như một hướng dẫn hoặc sổ tay hướng dẫn cho bot. Đó là một hướng dẫn có các quy tắc mà họ cần tuân theo. Các quy tắc này sẽ cho trình thu thập thông tin biết những gì họ được phép xem và những phần nào trên trang web của bạn bị hạn chế. Ví dụ: Như các trang trên sơ đồ trang web của bạn sẽ được xem bởi bot của các trình thu thập thông tin.

Lưu ý: Có rất nhiều loại bot khác nhau chứ không chỉ riêng bot của các công cụ tìm kiếm như: ahrefs bot, bing bot, Semrush bot,…

Nếu file robots.txt của bạn không được tối ưu hóa đúng cách, nó có thể gây ra các vấn đề lớn về SEO cho trang web của bạn.

Đó là lý do tại sao điều quan trọng là bạn phải hiểu chính xác cách thức hoạt động và những gì bạn cần làm. Tạo file robots.txt đúng cách để đảm bảo rằng thành phần kỹ thuật này của trang web giúp ích cho bạn, thay vì bị tổn thương tới website.

Tại sao file robots.txt cần được tối ưu hóa?

Tôi biết một số bạn đang nghĩ gì. Tại sao trên thế giới này tôi lại muốn gây rối với bất kỳ điều gì trong số này?

Đây là những gì bạn cần hiểu. Mục đích của file robots.txt của bạn không phải để chặn hoàn toàn các trang hoặc nội dung trang web khỏi công cụ tìm kiếm.

Thay vào đó, bạn chỉ đang cố gắng tối đa hóa hiệu quả của ngân sách thu thập thông tin của họ. Tất cả những gì bạn đang làm là nói với các bot rằng chúng không cần phải thu thập dữ liệu các trang không được công khai.

Dưới đây là tóm tắt về cách hoạt động của trung tâm thu thập thông tin của Google.

Nó được chia thành hai phần:

  • Giới hạn tốc độ thu thập thông tin
  • Thu thập thông tin nhu cầu

Giới hạn tốc độ thu thập thông tin thể hiện số lượng kết nối mà trình thu thập thông tin có thể thực hiện với bất kỳ trang web cụ thể nào. Điều này cũng bao gồm khoảng thời gian giữa các lần tìm nạp.

Các trang web phản hồi nhanh có giới hạn tốc độ thu thập dữ liệu cao hơn, có nghĩa là chúng có thể có nhiều kết nối hơn với bot. Mặt khác, các trang web bị chậm lại do quá trình thu thập thông tin sẽ không được thu thập thông tin thường xuyên.

Các trang web cũng được thu thập thông tin dựa trên nhu cầu. Điều này có nghĩa là các trang web phổ biến được thu thập thông tin thường xuyên hơn. Mặt khác, các trang web không phổ biến hoặc ít cập nhật sẽ không được thu thập thông tin thường xuyên. Điều đó đúng ngay cả khi chưa đáp ứng giới hạn tốc độ thu thập thông tin.

Bằng cách tối ưu hóa file robots.txt, bạn đang làm cho công việc của các trình thu thập thông tin dễ dàng hơn nhiều. Theo Google, đây là một số ví dụ về các yếu tố ảnh hưởng đến ngân sách thu thập thông tin:

  • Số nhận dạng phiên
  • Điều hướng nhiều mặt
  • Các trang lỗi
  • Các trang đã bị tấn công
  • Nội dung trùng lặp
  • Không gian vô hạn và proxy
  • Nội dung chất lượng thấp
  • Thư rác

Bằng cách sử dụng file robots.txt để không cho phép loại nội dung này từ trình thu thập thông tin. Nó đảm bảo rằng họ dành nhiều thời gian hơn để khám phá và lập chỉ mục nội dung hàng đầu trên trang web của bạn.

Dưới đây là so sánh trực quan các trang web có và không có file robots.txt được tối ưu hóa.

trang web có và không có file robots.txt được tối ưu hóa

Trình thu thập thông tin của công cụ tìm kiếm sẽ dành nhiều thời gian hơn. Khi đó, nó sẽ dành nhiều thời gian hơn cho ngân sách thu thập thông tin trên trang web bên trái. Nhưng trang web bên phải đảm bảo rằng chỉ nội dung hàng đầu mới được thu thập thông tin.

Đây là một tình huống mà bạn muốn tận dụng file robots.txt.

Như tôi chắc bạn biết, nội dung trùng lặp có hại cho SEO. Nhưng có những thời điểm nhất định khi nó cần thiết phải có trên trang web của bạn.

Ví dụ: một số bạn có thể có phiên bản thân thiện với máy in của các trang cụ thể. Đó là nội dung trùng lặp. Vì vậy, bạn có thể chặn bot thu thập dữ liệu trang đó bằng cách tối ưu hóa cú pháp robots.txt của bạn.

Tìm file robots.txt của bạn

Theo mặc định, WordPress tự động tạo file robots.txt ảo cho trang web của bạn. Vì vậy, ngay cả khi bạn không nhấc ngón tay, trang web của bạn phải có file robots.txt mặc định. Bạn có thể kiểm tra xem có đúng như vậy không.

Trước khi bạn làm bất cứ điều gì, bước đầu tiên là xác minh rằng bạn có file robots.txt để bắt đầu. Một số bạn có thể chưa từng đến đây trước đây.

Cách dễ nhất để xem liệu trang web của bạn đã có chưa là đặt URL của trang web vào trình duyệt web, sau đó là /robots.txt.

Đây là giao diện file robots.txt của HMG Search:

Ví dụ về file robots.txt

Lưu ý: Vì file này là ảo nên bạn không thể chỉnh sửa nó. Nếu bạn muốn chỉnh sửa file robots.txt của mình, bạn cần thực sự tạo một file vật lý trên máy chủ của mình mà bạn có thể thao tác khi cần. Dưới đây là ba cách đơn giản để làm điều đó…

Khi bạn làm điều này, một trong ba điều sẽ xảy ra.

  • Bạn sẽ tìm thấy file robots.txt trông giống như tệp ở trên. (Mặc dù nếu bạn chưa bao giờ dành thời gian để tối ưu hóa nó, thì có lẽ nó không chuyên sâu).
  • Bạn sẽ thấy một file robots.txt hoàn toàn trống, nhưng ít nhất đã được thiết lập.
  • Bạn sẽ gặp lỗi 404 vì trang đó không tồn tại.

Hầu hết các bạn có thể sẽ rơi vào hai trường hợp hàng đầu. Bạn sẽ không gặp lỗi 404 vì phần lớn các trang web sẽ có thiết lập file robots.txt theo mặc định khi trang web được tạo. Những cài đặt mặc định đó sẽ vẫn ở đó nếu bạn chưa từng thực hiện bất kỳ thay đổi nào.

Cách tạo và chỉnh sửa file Robots.txt WordPress

Cách tạo và chỉnh sửa file robots.txt với Yoast SEO

Nếu đang sử dụng plugin Yoast SEO phổ biến, bạn có thể tạo (và sau đó chỉnh sửa) file robots.txt của mình ngay từ giao diện của Yoast. Tuy nhiên, trước khi có thể truy cập, bạn cần bật các tính năng nâng cao của Yoast SEO thông qua 3 bước:

Đi tới SEO → Trang tổng quan → Tính năng và chuyển đổi trên các trang Cài đặt nâng cao:

Cách kích hoạt các tính năng Yoast nâng cao

Sau khi được kích hoạt, bạn có thể đi tới SEO → Công cụ và nhấp vào Trình chỉnh sửa file :

Cách truy cập trình chỉnh sửa tệp Yoast

Giả sử bạn chưa có file robots.txt vật lý, Yoast sẽ cung cấp cho bạn tùy chọn Tạo file robots.txt :

Cách tạo robots.txt trong yoast

Và khi bạn nhấp vào nút đó, bạn sẽ có thể chỉnh sửa nội dung của file robots.txt của mình trực tiếp từ cùng một giao diện:

Cách chỉnh sửa Robots.txt trong Yoast

Khi bạn đọc tiếp, chúng tôi sẽ tìm hiểu thêm về những loại lệnh nào cần đưa vào file robots.txt WordPress của bạn.

Cách tạo và chỉnh sửa file robots.txt với All-in-One SEO

Nếu bạn đang sử dụng plugin All in One SEO Pack gần như phổ biến như Yoast. Bạn cũng có thể tạo và chỉnh sửa file robots.txt WordPress của mình ngay từ giao diện của plugin. Tất cả bạn cần làm là đi đến All in One SEO → quản lý tính năng và Kích hoạt các Robots.txt tính năng:

Cách tạo Robots.txt trong All-in-One SEO

Sau đó, bạn sẽ có thể quản lý file robots.txt của mình bằng cách đi tới All in One SEO → Robots.txt:

Cách chỉnh sửa Robots.txt trong All-in-One SEO

Cách tạo và chỉnh sửa file robots.txt qua FTP

Nếu không sử dụng plugin SEO cung cấp chức năng robots.txt, bạn vẫn có thể tạo và quản lý file robots.txt của mình qua SFTP. Trước tiên, hãy sử dụng bất kỳ trình soạn thảo văn bản nào để tạo một file trống có tên “robots.txt”:

Cách tạo tệp Robots.txt của riêng bạn

Sau đó, kết nối với trang web của bạn qua SFTP và tải file đó lên thư mục gốc của trang web của bạn. Bạn có thể thực hiện các sửa đổi thêm đối với file robots.txt của mình bằng cách chỉnh sửa file qua SFTP. Hoặc bạn cũng có thể tải lên các phiên bản mới của file.

Những gì cần đưa vào file robots.txt của bạn

Bây giờ bạn có một file robots.txt vật lý trên máy chủ của mình mà bạn có thể chỉnh sửa nếu cần. Nhưng bạn thực sự làm gì với file đó? Như bạn đã tìm hiểu trong phần đầu tiên, robots.txt cho phép bạn kiểm soát cách rô bốt tương tác với trang web của bạn. Bạn làm điều đó với hai lệnh cốt lõi:

  • User agent – điều này cho phép bạn nhắm mục tiêu các bot cụ thể. User agent là những gì bot sử dụng để nhận dạng chính họ. Ví dụ: với chúng, bạn có thể tạo quy tắc áp dụng cho Bing nhưng không áp dụng cho Google.
  • Disallow – điều này cho phép bạn yêu cầu rô bốt không được truy cập vào các khu vực nhất định trên trang web của bạn.

Ngoài ra còn có lệnh cho phép mà bạn sẽ sử dụng trong các tình huống thích hợp. Theo mặc định, mọi thứ trên trang web của bạn đều được đánh dấu Cho phép. Vì vậy không cần thiết phải sử dụng lệnh Cho phép trong 99% trường hợp. Nhưng nó có ích khi bạn muốn chặn truy cập vào một thư mục và các thư mục con của nó nhưng cho phép truy cập vào một thư mục con cụ thể.

Trước tiên, bạn thêm các quy tắc bằng cách chỉ định User agent mà quy tắc sẽ áp dụng. Sau đó liệt kê những quy tắc nào cần áp dụng bằng cách sử dụng Allow và Disallow . Ngoài ra còn có một số lệnh khác như Crawl delay và Sitemap , nhưng đây là:

  • Bị hầu hết các trình thu thập thông tin chính bỏ qua hoặc được hiểu theo nhiều cách khác nhau (trong trường hợp chậm trễ thu thập thông tin)
  • Được tạo ra dư thừa bởi các công cụ như Google Search Console (dành cho sơ đồ trang web)

Chúng ta hãy đi qua một số trường hợp sử dụng cụ thể để cho bạn thấy cách tất cả điều này kết hợp với nhau.

Cách sử dụng Robots.txt để chặn quyền truy cập vào toàn bộ trang web của bạn

Giả sử bạn muốn chặn tất cả quyền truy cập của trình thu thập thông tin vào trang web của mình. Điều này khó có thể xảy ra trên một trang đang hoạt động, nhưng nó có ích cho một trang phát triển. Để làm điều đó, bạn sẽ thêm mã này vào file robots.txt WordPress của mình:

User-agent: *

Disallow: /

Điều gì đang xảy ra trong mã đó?

Các * dấu hoa thị bên cạnh User-agent có nghĩa là “tất cả người dùng”. Dấu hoa thị là một ký tự đại diện, có nghĩa là nó áp dụng cho mọi User agent. Dấu / gạch chéo bên cạnh Disallow cho biết bạn không cho phép truy cập vào tất cả các trang có chứa “yourdomain.com/”.

Cách sử dụng Robots.txt để chặn một Bot truy cập trang web của bạn

Hãy thay đổi mọi thứ. Trong ví dụ này, chúng tôi sẽ giả vờ rằng bạn không thích việc Bing thu thập dữ liệu các trang của bạn. Bạn luôn là Nhóm Google và thậm chí không muốn Bing xem xét trang web của bạn. Để chỉ chặn Bing thu thập dữ liệu trang web của bạn, bạn sẽ thay thế ký tự đại diện * dấu hoa thị bằng Bingbot:

User-agent: Bingbot

Disallow: /

Về cơ bản, đoạn mã trên cho biết chỉ áp dụng quy tắc Không cho phép cho các bot có User agent “Bingbot” . Bây giờ, bạn có thể không muốn chặn quyền truy cập vào Bing. Nhưng tình huống này sẽ hữu ích nếu có một bot cụ thể mà bạn không muốn truy cập trang web của mình. Trang web này có một danh sách tốt về hầu hết các tên User agent đã biết của dịch vụ.

Cách sử dụng Robots.txt để chặn quyền truy cập vào một thư mục hoặc file cụ thể

Đối với ví dụ này, giả sử bạn chỉ muốn chặn quyền truy cập vào một file hoặc thư mục cụ thể (và tất cả các thư mục con của thư mục đó). Để làm cho điều này áp dụng cho WordPress, giả sử bạn muốn chặn:

  • Toàn bộ thư mục wp-admin
  • wp-login.php

Bạn có thể sử dụng các lệnh sau:

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-login.php

Cách sử dụng Robots.txt để cho phép truy cập vào một file cụ thể trong một thư mục không được phép

Giả sử rằng bạn muốn chặn toàn bộ một thư mục, nhưng bạn vẫn muốn cho phép truy cập vào một file cụ thể bên trong thư mục đó. Đây là lúc lệnh Cho phép có ích. Và nó thực sự rất áp dụng cho WordPress. Trên thực tế, file robots.txt ảo của WordPress minh họa hoàn hảo ví dụ này:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Đoạn này chặn truy cập vào toàn bộ / wp-admin / thư mục trừ các /wp-admin/admin-ajax.php tập tin.

Cách sử dụng Robots.txt để ngăn chặn lỗi thu thập kết quả tìm kiếm trên WordPress

Chú ý dành riêng cho WordPress:

Bạn có thể muốn thực hiện là ngăn trình thu thập thông tin tìm kiếm thu thập dữ liệu các trang kết quả tìm kiếm của bạn. Theo mặc định, WordPress sử dụng tham số truy vấn “? S =”. Vì vậy, để chặn quyền truy cập, tất cả những gì bạn cần làm là thêm quy tắc sau:

User-agent: *

Disallow: /?s=

Disallow: /search/

Đây có thể là một cách hiệu quả để chặn lỗi soft 404 nếu bạn đang mắc phải. Đảm bảo đọc hướng dẫn chuyên sâu của chúng tôi về cách tăng tốc tìm kiếm trên WordPress .

Cách tạo các quy tắc khác nhau cho các bot khác nhau trong Robots.txt

Cho đến nay, tất cả các ví dụ đều xử lý một quy tắc tại một thời điểm. Nhưng nếu bạn muốn áp dụng các quy tắc khác nhau cho các bot khác nhau thì sao? Bạn chỉ cần thêm từng bộ quy tắc trong phần khai báo User agent cho mỗi bot.

Ví dụ: nếu bạn muốn tạo một quy tắc áp dụng cho tất cả các bot và một quy tắc khác chỉ áp dụng cho Bingbot. Bạn có thể thực hiện như sau:

User-agent: *

Disallow: /wp-admin/

User-agent: Bingbot

Disallow: /

Trong ví dụ này, tất cả các bot sẽ bị chặn truy cập / wp-admin /, nhưng Bingbot sẽ bị chặn truy cập toàn bộ trang web của bạn.

Kiểm tra file robots.txt của bạn

Bạn có thể kiểm tra file robots.txt WordPress của mình trong Google Search Console để đảm bảo file được thiết lập chính xác. Chỉ cần nhấp vào trang web của bạn và trong phần “Thu thập thông tin”, hãy nhấp vào “Trình kiểm tra robots.txt”.

Sau đó, bạn có thể gửi bất kỳ URL nào, bao gồm cả trang chủ của bạn. Bạn sẽ thấy màu xanh lục  Được phép nếu mọi thứ đều có thể thu thập thông tin. Bạn cũng có thể kiểm tra các URL mà bạn đã chặn để đảm bảo rằng chúng thực sự bị chặn và hoặc Không được phép .

Nếu có bất kỳ vấn đề nào, bạn có thể chỉnh sửa cú pháp trực tiếp trong trình kiểm tra. Tiếp tục chạy các bài kiểm tra cho đến khi mọi thứ trơn tru.

Lưu ý rằng các thay đổi được thực hiện trong trình thử nghiệm sẽ không được lưu vào trang web của bạn. Vì vậy, bạn cần đảm bảo sao chép và dán bất kỳ thay đổi nào vào file robots.txt thực của mình.

Cũng cần lưu ý rằng công cụ này chỉ để thử nghiệm các chương trình và trình thu thập thông tin của Google. Nó sẽ không thể dự đoán cách các công cụ tìm kiếm khác sẽ đọc file robots.txt của bạn.

Xét rằng Google kiểm soát 89,95% thị phần công cụ tìm kiếm toàn cầu. Tôi không nghĩ rằng bạn cần phải chạy các thử nghiệm này bằng bất kỳ công cụ nào khác. Nhưng tôi sẽ để quyết định đó cho bạn.

Cẩn thận với UTF-8 BOM

BOM là viết tắt của byte order mark. Nó là một ký tự vô hình đôi khi được thêm vào file bởi các trình soạn thảo văn bản cũ và những thứ tương tự. Nếu điều này xảy ra với file robots.txt của bạn, Google có thể không đọc nó một cách chính xác. Đây là lý do tại sao điều quan trọng là phải kiểm tra file của bạn để tìm lỗi.

Ví dụ: Như đã thấy bên dưới, file của chúng tôi có một ký tự ẩn và Google phàn nàn về việc không hiểu cú pháp. Điều này về cơ bản làm mất hiệu lực hoàn toàn dòng đầu tiên của file robots.txt của chúng tôi, điều này không tốt! Glenn Gabe có một bài viết xuất sắc về cách Bom UTF-8 có thể giết chết SEO của bạn .

UTF-8 BOM trong file robots.txt

Kiến thức nâng cao về file robots.txt

File robots.txt của bạn cần được đặt tên là “robots.txt” để được tìm thấy. Nó phân biệt chữ hoa chữ thường, nghĩa là Robots.txt hoặc robots.TXT sẽ không được chấp nhận.

File robots.txt phải luôn nằm trong thư mục gốc của trang web của bạn trong thư mục cấp cao nhất của máy chủ.

Bất kỳ ai cũng có thể xem file robots.txt của bạn. Tất cả những gì họ cần làm là nhập tên URL trang web của bạn bằng /robots.txt sau tên miền gốc để xem. Vì vậy, đừng sử dụng thông tin này để lén lút hoặc lừa đảo, vì nó về cơ bản là thông tin công khai.

Tôi khuyên bạn không nên đưa ra các quy tắc cụ thể cho các trình thu thập thông tin công cụ tìm kiếm khác nhau. Tôi không thể thấy lợi ích của việc có một bộ quy tắc nhất định cho Google và một bộ quy tắc khác cho Bing. Sẽ ít khó hiểu hơn nếu các quy tắc của bạn áp dụng cho tất cả các tác nhân người dùng.

Thêm cú pháp disallow vào file robots.txt của bạn sẽ không ngăn trang đó được lập chỉ mục. Thay vào đó, bạn phải sử dụng thẻ noindex.

Trình thu thập thông tin của công cụ tìm kiếm cực kỳ tiên tiến. Về cơ bản, họ xem nội dung trang web của bạn giống như cách một người thực xem. Vì vậy, nếu trang web của bạn sử dụng CSS và JS để hoạt động, bạn không nên chặn các thư mục đó trong file robots.txt của mình. Sẽ là một sai lầm SEO nghiêm trọng nếu trình thu thập thông tin không thể thấy phiên bản hoạt động của trang web của bạn.

Giá trị liên kết có thể được chuyển từ các trang bị chặn đến các điểm đến liên kết. Điều này có nghĩa là các liên kết trên các trang không được phép sẽ được coi là nofollow. Nói cách khác: Backlink từ trang không có index chưa chắc coi như không có giá trị cho SEO.

Thưởng: Nếu bạn đang cần thúc đẩy SEO Offpage thì hãy xem ngay dịch vụ backlink của chúng tôi để có những siêu liên kết chất lượng.

Nhưng đa số: Một số liên kết sẽ không được lập chỉ mục trừ khi chúng nằm trên các trang khác mà công cụ tìm kiếm có thể truy cập.

File robots.txt không thể thay thế để chặn dữ liệu người dùng riêng tư và thông tin nhạy cảm khác hiển thị trong SERPs của bạn. Như tôi đã nói trước đây, các trang không được phép vẫn có thể được lập chỉ mục. Vì vậy, bạn vẫn cần đảm bảo rằng các trang này được bảo vệ bằng mật khẩu và sử dụng chỉ thị meta ngăn lập chỉ mục.

Sơ đồ trang web phải được đặt ở cuối file robots.txt của bạn.

Kết luận cuối cùng về file robots.txt

Đó là toàn bộ kiến thức về file robots.txt.

Tôi biết rằng nhiều thông tin này là một chút kỹ thuật, nhưng đừng để điều đó đe dọa bạn. Các khái niệm và ứng dụng cơ bản của robots.txt của bạn khá dễ hiểu.

Hãy nhớ rằng đây không phải là thứ mà bạn muốn sửa đổi quá thường xuyên. Điều cực kỳ quan trọng là bạn phải kiểm tra mọi thứ trước khi lưu các thay đổi. Đảm bảo rằng bạn kiểm tra hai lần và ba lần mọi thứ.

Một lỗi có thể khiến công cụ tìm kiếm ngừng thu thập thông tin trang web của bạn hoàn toàn. Điều này sẽ tàn phá xếp hạng SEO của bạn. Vì vậy, chỉ thực hiện những thay đổi thực sự cần thiết.

Khi được tối ưu hóa đúng cách, trang web của bạn sẽ được thu thập thông tin hiệu quả bằng ngân sách thu thập thông tin của Google. Điều này làm tăng cơ hội mà nội dung hàng đầu của bạn sẽ được chú ý, lập chỉ mục và xếp hạng tương ứng.

Similar Posts

Leave a Reply

Your email address will not be published. Required fields are marked *