结论先说:当一批页面只有一部分被发现时,对照组不应按“已发现”和“未发现”划分,而应按一个你怀疑的遗漏条件是否被满足来划分。也就是说,先确定一个可独立验证的差异条件,再检查满足与不满足两组的发现比例。如果这个条件确实相关,两组差距会明显;如果两组接近,说明该条件不是主因,应换下一个候选条件。这样划分才能让一次批量处理指向一个可验证的原因,而不是把整批页面反复提交。
已发现与未发现本身就是结果,用它当分组变量等于用结果解释结果。两组之间通常同时存在多个差异:发布时间、内链位置、模板类型、参数结构、内容重复度、抓取入口都可能不同。你无法判断究竟是哪一个条件造成了差异。更麻烦的是,未发现组往往同时更少被内链指向、更晚发布、模板更特殊,这些因素彼此纠缠,任何单点修复都难以归因。
可用的对照组必须满足两个要求:条件在页面生成前就能确定,且不依赖发现结果。例如“是否在列表页首屏有入口”“模板是否输出同一段结构化数据”“URL 是否带查询参数”“正文是否由同一数据源生成”。这些条件可以先分类,再回看发现情况。
假设你有一批 500 个详情页,其中约 120 个未被发现。不要先提交这 120 个,而是先做下面四步。
这个顺序的关键是:一次只验证一个条件。多个条件同时改,即使发现量上升,也无法判断是哪一个起了作用,下一批页面仍然会重复同样的问题。
假设某站点批量上线 400 个商品页,其中 90 个未被发现。运营怀疑是内容太短,但检查后发现:短内容组 150 个中 110 个被发现,长内容组 250 个中 200 个被发现,两组比例接近,内容长度不是主因。再按“是否出现在分类页前两屏”分组:出现的 280 个中 265 个被发现,未出现的 120 个中 25 个被发现。差距明显,下一步动作应是先给未出现组补上分类入口,再观察这 120 个的发现情况。这个例子中的数字只用于说明比较方法,不代表任何真实站点。
最典型的反例是:分组条件与另一个未检查的条件高度重合。比如“有站内链接指向”的页面恰好也都是较早发布、内容更完整的页面。此时两组差距可能来自发布时间或内容质量,而不是链接本身。判断方法是检查两组在发布时间、模板、内容长度等维度是否也明显不同。如果几乎完全重合,这个对照组就不能单独证明链接的作用,需要先固定其他变量,或换一个与其他维度重合更少的条件。
另一个失效情形是抓取限制。如果 robots.txt 挡住了某类 URL,那么这些页面本来就不会被抓取,发现比例低与内容或链接无关。需要说明的是,robots.txt 的抓取限制不等于可靠的索引移除,它只约束抓取行为;站点地图也不保证收录。遇到这类情况,先排除抓取层面的硬限制,再谈页面级条件。
完成一轮分组比较后,只对差距最大的条件做一次集中处理,并保留处理前的分组记录。处理后回看同一组页面的发现情况:如果该组明显改善,说明这个条件值得在下一批页面中前置解决;如果改善不明显,说明还有更主要的遗漏条件,应回到候选列表换下一个条件重新分组。不要因为一次处理没有立即见效就同时改动多个条件,那样只会让下一轮对照失去意义。