先给结论:有效地址集合不应由“参数长什么样”决定,而应由“这个地址指向的内容是否仍需被用户和搜索引擎访问”决定。参数组合无限增长时,最可行的做法是把地址划分成三层——保留、改写、退出,并为每一层给出可执行的判定条件,而不是试图穷举或统一屏蔽所有带参数的地址。
参数分两类。第一类会改变页面主体内容,例如分页、筛选、排序、语言或版本切换;第二类只影响追踪、会话或展示细节,例如来源标记、会话编号、排序偏好。只有第一类才可能构成独立有效地址,第二类通常应通过规范化或抓取限制收敛,而不是让它们进入索引。
一个可操作的判定动作是:随机抽取若干参数组合,在无登录、无个性化条件下打开页面,记录标题、主要正文、价格或库存等核心字段是否变化。如果核心字段完全一致,只是参数不同,这类地址更适合归入“退出”或“改写”,而不是保留为独立入口。这个动作的结果会直接决定下一步:内容一致就进入收敛流程,内容不同才进入保留评估。
保留一个参数地址,前提是它满足至少两个条件:该地址能稳定返回与主地址不同的核心内容;该内容仍能承接来自站内链接、外部链接或用户收藏的访问。旧合作关系退出后,如果某个带参数的地址仍有外部引用,且页面内容仍有参考价值,直接删除会造成访问中断,此时保留并补充规范化指向更合适。
保留不等于放任。需要为该地址指定一个规范地址,确保同一内容不会以多个参数形态重复出现。若参数组合会持续生成新地址,例如筛选条件可以任意叠加,保留策略必须配合可抓取的入口控制:只让站内链接指向有限的参数组合,其余组合即使可访问,也不主动暴露给抓取。
当旧系统生成的参数地址数量远超实际内容数量时,逐个保留不现实。此时更适合改写:把仍有价值的内容迁移到无参数或参数固定的新地址,旧地址通过服务端跳转指向新地址。改写的前提是你能确认新旧地址的内容对应关系,而不是把所有旧参数地址统一跳到一个首页或栏目页。
假设某旧系统有颜色、尺寸、排序三个参数,理论上组合数很大,但实际有独立内容的只有颜色和尺寸的有限组合,排序不改变内容。此时可把颜色与尺寸的固定组合改写为静态路径,排序参数统一收敛。这个例子只用于说明比较方法:先区分哪些参数真正改变内容,再决定改写范围。
退出适用于那些内容重复、已下线或不再维护的地址。退出方式包括返回 404 或 410,让搜索引擎和用户明确知道该地址不再存在。需要注意,robots.txt 的抓取限制不等于可靠的索引移除:被限制抓取的地址仍可能因外部链接出现在结果中,只是抓取行为被阻止。因此,退出时应优先使用明确的状态码,而不是仅靠抓取限制。
退出前应检查该地址是否有外部链接或站内重要入口。如果有,直接返回 404 会中断访问,此时应先改写或保留,再考虑退出。站点地图也不保证收录,把地址放进站点地图不等于它会被索引,因此不能用站点地图替代状态码判断。
定义有效地址集合的最终产物,不是一份无限长的参数清单,而是一组规则加抽样证据。可以按以下顺序执行:
完成上述动作后,下一步应验证收敛是否生效:观察站内链接是否仍指向被收敛的参数地址,以及外部访问是否仍落在旧地址上。如果站内链接没有同步更新,收敛规则会被重新放大,有效地址集合又会回到失控状态。不同搜索引擎对参数处理和状态码的支持情况须分别核查,不能默认所有引擎行为一致。