修复后不要只看一次索引量查询的数字变化,而要把查询结果当作线索,逐项核对抓取、收录和展示三个环节。只有同一批URL在多次查询中表现一致,并且日志与页面状态能互相印证,才能判断修复是否真正生效。
索引量下降或波动可能来自多种原因:页面返回错误、被robots.txt阻止、规范标签指向别处、内容质量不足,或者搜索引擎尚未重新抓取。修复动作不同,验证对象也不同。
判断结果时注意:robots.txt的抓取限制不等于可靠的索引移除。即使抓取被阻止,已有索引仍可能保留一段时间。因此修复抓取限制后,索引量查询结果不会立刻同步变化。
用浏览器直接访问修复后的URL,查看HTTP状态码。可用命令行工具执行:
curl -I https://example.com/fixed-page
返回200说明页面可正常访问;返回301或302说明发生了跳转;返回404或500说明问题仍未解决。如果返回200,继续下一步。如果仍返回错误,先修好状态码,再谈索引量变化。
打开站点根目录下的robots.txt,确认修复的路径没有被Disallow规则覆盖。也可以用搜索引擎提供的robots测试工具分别核查。结果说明:如果路径仍被阻止,抓取不会恢复,索引量查询结果也不会反映修复效果。注意,解除阻止只是恢复抓取的前提,不代表页面会立即被收录。
确认修复后的URL已加入站点地图,并且从至少一个可抓取的内部页面链接过去。站点地图不保证收录,它只是帮助发现URL。如果URL只存在于站点地图、没有任何内部链接,抓取优先级可能较低。结果说明:发现路径畅通后,才具备重新抓取的条件。
用站点的索引量查询方式,分别记录修复前和修复后的数值,并记下查询日期。不要只看总数,要按目录或URL分组对比。例如,假设修复的是/help/目录下50个页面,就单独查该目录的索引量,而不是看全站总数。结果说明:如果该目录索引量在多次查询中逐步回升,且回升的URL与修复清单一致,修复方向可能是对的。如果总数上升但目标目录没变,说明变化来自其他页面,不能归因于本次修复。
从修复清单中随机抽取5到10个URL,用站内搜索或索引查询工具查看收录版本。重点核对三件事:收录的是不是修复后的URL、标题和摘要是否更新、规范网址是否指向自己。结果说明:如果收录版本仍是旧版,说明搜索引擎尚未重新抓取或尚未更新索引;如果规范网址指向其他页面,说明修复未覆盖规范设置。
在服务器日志中筛选搜索引擎抓取工具的访问记录,查看修复URL最近一次被抓取的时间。结果说明:如果日志显示修复后已有抓取,但索引量查询结果未变,问题可能在索引处理阶段,而不是抓取阶段。如果日志中没有新的抓取记录,说明发现或抓取环节仍有阻碍。
为避免返工,验证结果应包含固定字段:URL、修复动作、查询日期、索引量查询结果、状态码、robots状态、日志抓取时间、结论。结论只写三种状态之一:已恢复、部分恢复、未恢复。部分恢复要写明哪些URL已恢复、哪些没有。
交接时附上原始查询截图或日志片段,不要只写“已修复”。如果同一现象有多种解释,例如索引量未回升,可能是尚未抓取,也可能是已抓取但未通过索引处理,应在结论中并列写出,并注明下一步要查什么来区分。
从修复清单中选一个URL,按上述六项依次执行一遍,把每项结果填进同一张表。若六项中任何一项显示阻碍仍在,先解决该项,再重新做索引量查询。