Tạo và gửi tệp robots.txt tốt cho seo hoàn hảo cho blogspot 2021

1. Các chức năng của tệp robots.txt là gì?

Tệp robots.txt thông báo cho công cụ tìm kiếm về các trang nên và không nên thu thập thông tin. Do đó, nó cho phép  kiểm soát hoạt động của các bot công cụ tìm kiếm.Tệp robots.txt chủ yếu dùng để quản lý lưu lượng truy cập của trình thu thập dữ liệu vào trang web của bạn và thường dùng để ẩn một tệp khỏi Google.

    Trong tệp robots.txt, Chúng ta khai báo các hàm user-agent, allow, disallow, sitemap cho các công cụ tìm kiếm như Google, Bing, Yandex, v.v. Hãy hiểu ý nghĩa của tất cả các thuật ngữ này.

    Thông thường, chúng tôi sử dụng thẻ meta rô bốt cho tất cả các công cụ tìm kiếm thu thập thông tin bot để lập chỉ mục các bài đăng và trang blog trên toàn bộ web. Nhưng nếu bạn muốn tiết kiệm ngân sách thu thập dữ liệu, chặn bots công cụ tìm kiếm trong một số phần của trang web, bạn phải hiểu tệp robots.txt cho blog Blogger.

2. Phân tích tệp Robots.txt mặc định của Blog Blogger

Để tạo tệp robots.txt tùy chỉnh hoàn hảo cho blog BlogSpot của Blogger. Trước tiên, chúng ta phải hiểu cấu trúc của blog Blogger và phân tích tệp robots.txt mặc định.

Theo mặc định, tệp này trông giống như:

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://www.example.com/sitemap.xml

    - Dòng đầu tiên của tệp này khai báo loại bot (User-agent): Đây là Google AdSense, không được phép sử dụng. Điều đó có nghĩa là quảng cáo AdSense có thể xuất hiện trên toàn bộ trang web.

    - Tác nhân người dùng tiếp theo là User-agent: * , có nghĩa là tất cả các bot của công cụ tìm kiếm không được phép vào / các trang tìm kiếm . Điều đó có nghĩa là không được phép đối với tất cả các trang tìm kiếm và trang nhãn (cùng một cấu trúc URL).

    - Và thẻ allow: xác định rằng tất cả các trang khác ngoài phần không cho phép sẽ được phép thu thập thông tin.

   - Dòng (Sitemap) tiếp theo chứa sơ đồ trang web bài đăng cho blog Blogger: Đây là một tệp gần như hoàn chỉnh để kiểm soát các bots của công cụ tìm kiếm và cung cấp hướng dẫn cho các trang thu thập thông tin hoặc không thu thập thông tin. Xin lưu ý, ở đây, những gì được phép thu thập thông tin sẽ không đảm bảo rằng các trang sẽ lập chỉ mục.

Nhưng tệp này cho phép lập chỉ mục các trang lưu trữ, điều này có thể gây ra sự cố nội dung trùng lặp. Điều đó có nghĩa là nó sẽ tạo ra rác cho blog Blogger.

3. Tạo tệp robots.txt Hoàn chỉnh cho Blog Blogger.

    Chúng ta đã hiểu cách đặt tệp robots.txt mặc định thực hiện chức năng của nó cho blog Blogger. Hãy tối ưu hóa nó để SEO tốt nhất.

    Tệp robots.txt mặc định cho phép kho lưu trữ lập chỉ mục nguyên nhân gây ra sự cố nội dung trùng lặp. Chúng ta có thể ngăn chặn vấn đề nội dung trùng lặp bằng cách ngăn các bot thu thập thông tin phần lưu trữ. Đối với điều này, chúng tôi phải áp dụng quy tắc Không cho phép / 20 * vào tệp robots.txt. Nhưng quy tắc này sẽ ngừng thu thập thông tin của các trang. Vì vậy, để tránh điều này, chúng tôi phải áp dụng quy tắc Cho phép mới cho phần /*.html cho phép bot thu thập dữ liệu các bài đăng và trang.

    Sơ đồ trang web mặc định bao gồm các bài đăng, không phải các trang. Vì vậy, bạn phải thêm sơ đồ trang web cho các trang nằm trong https://example.blogspot.com/sitemap  

hoặc https://www.example.com/sitemap-pages.xml cho miền tùy chỉnh.

    Vì vậy, tệp robots.txt hoàn chỉnh mới cho blog Blogger sẽ trông như thế này.

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search* Disallow: /20* Allow: /*.html Sitemap: https://www.example.com/sitemap.xml Sitemap: https://www.example.com/sitemap-pages.xml

4. Làm cách nào để chỉnh sửa tệp robots.txt của blog Blogger?

Tệp Robots.txt luôn được đặt ở cấp cơ sở của bất kỳ trang web nào. Nhưng trong Blogger, không có quyền truy cập vào root, vậy làm thế nào để chỉnh sửa tệp robots.txt này?

Blogger cung cấp tất cả cài đặt tệp gốc trong cài đặt của nó như tệp robots.txt và ads.txt. Bạn phải đăng nhập vào tài khoản Blogger và chỉnh sửa tệp robots.txt.

1.    Đi tới Trang tổng quan Blogger và nhấp vào tùy chọn cài đặt,

2.    Cuộn xuống trình thu thập thông tin và lập chỉ mục,

3.    Bật robots.txt tùy chỉnh bằng nút chuyển đổi.

4.    Nhấp vào robots.txt tùy chỉnh , một cửa sổ sẽ mở ra, dán tệp robots.txt và cập nhật.

    Sau khi cập nhật tệp robots.txt tùy chỉnh, hãy kiểm tra tệp đó bằng cách truy cập https://www.example.com/robots.txt, nơi www.example.com sẽ được thay thế bằng địa chỉ miền của bạn.

5. Lời kết

Chúng ta đã hiểu chức năng của tệp robots.txt. Người dùng blog của Blogger có thể thiết lập tệp robots.txt ở trên để có kết quả tốt nhất.

Trong tệp robots.txt mặc định, phần lưu trữ cũng được phép thu thập thông tin, điều này gây ra sự cố trùng lặp nội dung cho công cụ tìm kiếm. Và do đó công cụ tìm kiếm bối rối về những gì sẽ hiển thị trong kết quả tìm kiếm và không xem xét các trang của bạn cho kết quả tìm kiếm.

Nó có nghĩa là các thẻ Robots rất cần thiết cho SEO của một trang web. Bạn có thể cân nhắc kết hợp cả tệp robots.txt và thẻ meta rô bốt trong blog Blogger để có kết quả tốt nhất.