robots.txt是网站根目录下的纯文本文件，用于控制搜索引擎爬虫访问权限。核心指令包括User-agent、Disallow、Allow和Sitemap，可设置不同爬虫的抓取规则。常见场景有禁止全站访问、限制目录和文件类型等。需注意文件位置、路径大小写、非强制性等特点，建议结合站点地图和Meta标签实现精细控制。