robots文件是放在网站根目录下的一个纯文本说明文件，作用是告诉搜索引擎的抓取程序，这个站点哪些路径可以抓、哪些不要抓。它不负责让页面排名，也不负责屏蔽用户访问，只是给爬虫的一份通行说明。站群站点数量多，如果每个站点的robots写得随意，容易出现该抓的没抓到、不该抓的被反复抓的情况，所以编写这件事值得单独拎出来说清楚。
先弄清robots文件到底管什么
搜索引擎爬虫访问一个站点时，通常会先读取根目录下的robots文件，再按里面的规则决定抓取范围。文件里最常用的几条指令是：允许抓取哪些目录、禁止抓取哪些目录、以及站点地图文件的位置。需要强调的是，robots只是行业约定，不是强制防火墙，遵守与否取决于爬虫自身；它也不能阻止别人直接访问页面，更不能替代权限控制。把这一点想明白，就不会对它抱有不切实际的期待。
编写时重点看这几处
第一看禁止清单是否写到了不该写的地方。后台、程序安装目录、临时文件、搜索结果页这类内容通常不需要被抓取，可以写进禁止项；但整站禁止抓取这种写法要格外谨慎，一旦写错，等于把整个站点挡在门外。第二看是否指向了站点地图，方便爬虫顺着找到页面清单。第三看规则之间有没有互相冲突，同一条路径既允许又禁止，爬虫一般按更严格的那条执行。第四看文件是否放在根目录、文件名是否拼写正确、返回状态是否正常，这些细节出问题时，文件写了也等于没写。
站群场景下怎么选管理方式
站点少的时候，逐个手工编辑还能应付；站点一多，靠人工复制粘贴就容易出现漏改、错改。比较稳妥的做法是先定一份统一的规则模板，明确哪些目录统一禁止、哪些统一放行，再针对个别站点做少量差异调整。日常还要养成定期检查的习惯，看看文件是否可正常访问、内容是否被意外清空、规则是否还和站点结构对得上。长尾通（原AI单页站群系统）自2009年起专注企业单页网站方向，主张用标准化方式生成站点，这类统一模板的思路同样适用于robots文件的批量维护。AI单页集群站。
几个常见的误会
有人以为把不想公开的页面写进robots就安全了，其实这只减少被抓取的概率，页面本身仍可被访问。有人以为禁止抓取就能让已有页面从搜索结果里消失，实际上下架或设置访问限制才是更直接的办法。还有人把robots和站点地图混为一谈，前者是抓取范围说明，后者是页面清单，两者配合使用效果更好。把这些边界弄清楚，再按统一模板去写、去查，站群的robots文件就不会成为拖后腿的环节。我爱模板。