Robots.txt là gì? – Hướng dẫn cách tạo và sử dụng robots.txt
Robots.txt là gì ? Web Robot (còn được gọi là Web Wanderer, Crawler hay Spider nhưng trong bài viết này mình xin tạm dịch là bọ tìm kiếm) là một chương trình được lập trình tự động thực hiện một công việc nào đó khi truy cập vào website của bạn. VD: bọ tìm kiếm…