搜索引擎优化（SEO）是通过优化网站结构、内容及外部链接，提升自然排名与访问量的技术。其核心是符合搜索引擎规则，增强可见性与品牌效应。SEO成本低、长期有效，但受算法更新影响大，广泛应用于数字营销领域，驱动内容创作与用户体验优化。

sitemap.xml是XML格式的网站地图，帮助搜索引擎高效发现并抓取页面，提升索引效率。它包含页面URL、修改时间、更新频率和优先级等信息，可扩展支持图片、视频等多媒体内容，是SEO优化的关键环节。

robots.txt是网站根目录下的纯文本文件，用于控制搜索引擎爬虫访问权限。核心指令包括User-agent、Disallow、Allow和Sitemap，可设置不同爬虫的抓取规则。常见场景有禁止全站访问、限制目录和文件类型等。需注意文件位置、路径大小写、非强制性等特点，建议结合站点地图和Meta标签实现精细控制。