改动网站之前,先把“当前线上状态”完整留存下来,包括页面HTML、HTTP响应头、状态码、robots.txt、站点地图、主要URL清单以及搜索引擎当前已收录的页面快照。这样做的目的不是备份整站数据,而是建立一个可对照的基线:改动后如果收录或排名出现波动,你能判断是改动本身引起的,还是抓取、索引、外部链接等其它因素造成的。最关键的一步是在改动发生前完成快照,并记录快照时间,事后补记的价值会大打折扣。
网站收录排名相关的改动,通常涉及标题、描述、正文结构、内链、URL、robots.txt、canonical、站点地图等。保存原始状态时,按“可复现”原则列出清单:
Content-Type、X-Robots-Tag、canonical链接、重定向链。保存位置建议独立于即将改动的代码库,例如本地目录加时间戳命名,或版本控制系统的独立分支。不要只依赖CMS的修订历史,它往往不保存响应头和robots.txt。
采集时优先使用命令行工具,因为它能原样保留响应内容,便于日后逐字节对比。以下命令把页面HTML和响应头分别存成文件:
curl -sS -D headers_before.txt -o page_before.html https://example.com/page
执行后检查 headers_before.txt 是否包含状态码和 X-Robots-Tag,page_before.html 是否与浏览器查看源代码一致。如果页面依赖JavaScript渲染,curl拿到的可能不是最终内容,这时要补充保存渲染后的DOM或截图,并在记录中注明采集方式。
对于robots.txt和站点地图,直接另存为文本文件即可。搜索引擎侧的收录与排名数据,用表格记录查询词、当前出现的URL、位置和记录日期。位置会因个性化、地区、设备而不同,所以每次核对都要用相同的查询条件,否则对比没有意义。
保存完成后,做三项检查,确认基线可用:
如果发现快照里出现登录页、验证码页或404页,说明采集方式不适用于该站点,需要调整后再重新保存。基线不可信,后续所有对比都会失去依据。
改动上线后,用与保存时相同的方法采集新状态,逐项对比。判断逻辑可以这样设定:
对比时把“可能原因”和“已经定位的原因”分开记录。例如排名下降可能来自内容改动、抓取异常、竞争对手变化或搜索需求波动,在拿到抓取日志、索引状态等证据之前,不要断定是某一个原因造成的。不同搜索引擎的支持和表现需要分别核查,不能用一家的结果推断另一家。
下一步:按上面的清单,在改动前完成一次完整快照采集,并把快照文件、采集命令和记录日期放在同一个目录中,作为本次改动的对照基线。