蜘蛛日志分析：小流量灰度为何暴露全量发布的例外
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e654a03090dd.html
📄
蜘蛛日志分析：小流量灰度为何暴露全量发布的例外
灰度阶段只放出少量URL，日志里往往很干净；一旦全量发布，某些例外路径才开始被大量抓取。原因通常不是灰度“没测出来”，而是灰度样本没有覆盖全量才出现的入口组合、参数变体或权限分支。要决定保留、改写还是退出，先别急着改代码，用日志把“谁在抓、抓到了什么、从哪来”拆开核对。
灰度样本干净，全量却出现例外，先核对三个差异
小流量灰度与全量发布之间，至少有三类差异会改变抓取行为：入口集合、URL变体、以及页面之间的链接关系。灰度通常只开放部分栏目或部分模板，全量后导航、分页、筛选、站点地图、外链和旧路径一起生效，爬虫能到达的路径数量会突然增加。此时日志里出现新路径，并不必然等于“全量发布制造了新问题”，也可能只是灰度期间这些路径本来就不存在或不可达。
可核对的证据包括：同一路径在灰度期与全量期的状态码分布；抓取来源是站内链接还是外部引用；带参数URL是否在灰度期完全缺席。若某路径在灰度期从未被请求，全量后大量出现，优先怀疑入口暴露，而不是抓取策略突变。
保留、改写、退出：三种取舍各自成立的前提
面对灰度未暴露、全量才出现的例外，处理方式不是越彻底越好，而是看例外是否具备独立价值。
- 保留：适用于该路径本身是有效内容页，只是灰度未开放。前提是它能独立满足用户需求，且与主路径不构成重复。动作：把它加入站点地图与内部链接，观察后续抓取是否稳定。结果若抓取频次平稳、状态码正常，说明它是正常扩展，不必回滚。
- 改写：适用于路径有效但URL形态失控，例如同一内容被参数、排序、会话标识拆成多份。前提是内容需要存在，但入口需要收敛。动作：统一规范链接、限制可抓参数组合，再对比改写前后日志中变体数量。若变体请求下降而有效页抓取不降，改写成立。
- 退出：适用于该路径属于测试残留、内部接口或已废弃入口，且确认无用户价值。前提是能安全下线，而不是仅靠限制抓取。动作：先返回明确状态或移除入口，再观察日志中该路径请求是否衰减。若请求持续存在，说明外部仍有引用，需继续排查来源。
别用单一信号下结论：请求归零不等于处理正确
日志里某路径请求量下降甚至归零，容易被当成“问题已解决”。但归零还有别的解释：爬虫降低了整体抓取、入口被临时屏蔽、或该路径被转移到其他URL。仅凭请求量变化，无法区分“正确处理”与“暂时没被抓”。
同理，用robots.txt限制抓取，不等于可靠的索引移除——它阻止的是抓取，不是已收录结果的清理；站点地图提交也不保证收录。若例外路径涉及敏感或废弃内容，退出策略需要同时考虑入口移除与状态处理，而不是只加一条抓取限制。
一个注明假设的短例子：如何用日志区分两种解释
假设灰度只开放A栏目，全量后B栏目的筛选参数开始出现在日志中，请求量上升。两种解释都成立：一是B栏目入口在全量后暴露，爬虫正常发现；二是筛选参数组合被站内链接放大，形成近似无限路径。
区分方法：抽取日志中B栏目请求，按“是否带参数”和“来源页面”分组。若带参数请求主要来自站内筛选链接，且参数组合随用户操作增长，倾向改写收敛；若带参数请求来自外部引用且组合固定，倾向保留并观察。这个例子只说明比较方法，不代表任何真实站点结果。
把结论落到下一步动作
灰度与全量的差异，本质是入口覆盖差异。先确认例外路径是否在灰度期可达，再判断它有无独立价值，最后才决定保留、改写或退出。每次动作后，用日志核对路径状态码、来源和变体数量是否朝预期方向变化；若没有变化，说明假设不成立，应回到入口与链接关系重新排查，而不是继续叠加限制规则。这样处理，灰度才不只是发布前的抽样，而是全量例外出现时可回溯的对照基线。
