Để có thể thay đổi tập tin Robots.txt mặc định do Blogger tạo sẵn cho bạn.
Truy cập vào:
Blogger
– Settings
– Crawlers and indexing
– Enable custom robots.txt
– Turn ON
Custom robots.txt for dohuytuong.com
User-agent: * Disallow: /search Disallow: /category/ Disallow: /tag/ Allow: / Sitemap: https://dohuytuong.com/sitemap.xml Sitemap: https://dohuytuong.com/sitemap-pages.xml
Có thể dùng một số công cụ sau để kiểm tra lại tập tin Robots.txt
- https://technicalseo.com/tools/robots-txt
- https://en.ryte.com/free-tools/robots-txt
- https://logeix.com/tools/robots-txt
- https://tamethebots.com/tools/robotstxt-checker
- https://pagedart.com/tools/robots-txt-file-checker
- …
Chuyển từ WordPress về lại Blogger nên thêm 2 dòng Disallow: /category/ và Disallow: /tag/ để Google gỡ các kết quả index cũ từ WordPress.
