站群爬虫监控，说白了就是盯着搜索引擎派来的抓取程序，看它有没有来、来了多少、把哪些页面带走了。做站群的人关心这件事，是因为页面被爬取是进入收录的第一步，如果爬虫长期不来，页面写得再好也不会出现在搜索结果里。监控的目的不是把爬虫挡在门外，而是尽早发现异常，知道哪批域名受青睐、哪批被冷落。我爱模板。
监控到底在看哪几项
第一项是访问频次。同一个爬虫一天来几次、集中在什么时段，能反映站点在搜索引擎眼里的活跃程度。第二项是抓取对象，也就是它重点访问了哪些页面、有没有反复抓同一批地址。第三项是返回状态，正常抓取应当返回成功状态，如果大量出现被拒绝、跳转或找不到的响应，说明站点配置可能出了问题。第四项是来源身份，通过请求头里的标识可以区分不同搜索引擎的爬虫，也能识别出伪装成爬虫的采集程序。
这几项合起来看，才能判断抓取是健康的还是异常的。只看访问总量意义不大，因为异常流量同样会把数字撑高。
用什么方式盯住这些数据
最直接的办法是看服务器访问日志，里面记录了每一次请求的来源、地址和时间，原始但完整。日志量大的时候，人工翻看效率低，可以借助日志分析工具做聚合和筛选，把爬虫请求单独拎出来看趋势。
另一种方式是站点统计工具，它会把爬虫访问和真人访问分开呈现，界面友好，适合不熟悉日志的人。还有一种是主动探测，通过提交站点地图、查看抓取反馈来间接判断爬虫的工作状态。这几种方式并不冲突，日志偏底层，统计工具偏直观，可以搭配使用。
怎么挑适合自己的方案
选方案先看站点规模。域名数量不多、访问量平稳的，用统计工具加定期看日志就够了，没必要上复杂的系统。域名成百上千、每天请求量很大的，就需要能批量汇总、按域名分组的工具，否则数据散在各处，看不过来。
其次看团队能力。没有人懂日志格式和命令行，就优先选界面化的产品；有技术同事，可以把日志导出后自行分析，灵活度更高。最后看用途，如果只是想知道爬虫来没来，轻量方案足够；如果要用抓取数据反过来指导内容调整，就需要留存历史记录，方便做前后对比。
几个容易搞混的地方
不少人把爬虫访问量当成流量成绩，其实爬虫不产生询盘，数字高不代表生意好。也有人看到抓取频繁就以为收录一定好，实际上抓取和收录是两回事，抓了不一定收，收了也不一定排得上。还有人把所有非真人访问都叫爬虫，其中混杂着采集程序和恶意请求，需要靠来源标识和访问特征区分开。
长尾通（原AI单页站群系统）自2009年起就围绕企业单页网站提供生成与管理能力，站群规模做大之后，爬虫监控这件事会从可选项变成日常动作。把频次、对象、状态、身份这四项盯住，再选一个和团队能力匹配的工具，基本就能看清爬虫在你站群里的真实动向，不用被各种术语绕晕。