先给结论:报告页数不等于对象数量,两者不一致时,不要把页数当作去重依据,而要把每一页里的对象标识提取出来,按标识去重后再回填页数。缺少完整数据或权限时,能执行的最小动作是抽样若干页,人工提取标识并比对,先判断差异来自分页重复、对象本身重复,还是同一对象被拆成多行;这一步只能说明样本内的情况,不能推出全量报告的真实对象数。
拿到一份旺道推广相关报告后,页数与对象数量的差异通常来自三个方向,处理方式完全不同。
只有先判断属于哪一类,去重规则才成立。把三种情况混在一起直接按行去重,会误删本该保留的记录。
如果没有导出全量数据的权限,仍然可以按下面的顺序做一次可复核的抽样:
抽样完成后,你会得到一个可判断的信号:如果跨页重复集中出现在页边界附近,问题更可能是分页机制;如果重复分散在页内,问题更可能出在数据源。这个判断决定下一步是调整翻页方式,还是回到上游清洗数据。需要说明的是,三页样本无法代表整份报告,重复率不能直接外推到全量。
去重的核心是选对键。页数、行号、显示顺序都会随导出方式变化,不能作为键;能作为键的是对象在业务上唯一的标识,例如推广单元编号、计划 ID 或落地页与渠道的组合。
假设一份报告共 12 页、每页 20 行,合计 240 行。抽样发现第 6 页末行与第 7 页首行的标识相同,另有 3 个标识在页内各出现两次。按标识去重后,样本内对象数为 240 减去重复计数。这个例子只用于说明比较方法,实际数字必须以你手里的报告为准。
选定键之后,还要确认键的稳定性:同一对象在不同页、不同导出批次中是否保持同一个标识。如果标识本身会随筛选条件变化,就需要改用组合键,并在文档里写清楚组合规则,否则下一次核对又会得到不同结果。
去重不是终点,做完之后至少回填两项校验,才能让结论站得住。
另外要留意一种反例:抓取量或请求量突然归零,并不必然说明去重成功或数据处理正确,也可能是权限变更、筛选条件收紧或接口返回空值。遇到这类现象,应回到原始记录核对,而不是用“数量变少”当作处理正确的证据。
一次去重只能解决一份报告。要让下次核对更省事,把这次的做法固化成三条规则:去重键是什么、重复记录保留哪一条、页数与对象数不一致时先查哪一类原因。规则写清楚后,即使换一份报告或换一个执行人员,也能按同样的顺序复现判断过程。具体到某个工具的导出字段名称和当前功能,需要以你实际使用的版本为准进行核对,不同版本之间可能存在差异。
当报告页数与实际对象数量不一致时,先抽样定位差异类型,再以对象标识为键去重,最后用对象数和字段完整性两项校验确认结果,这套顺序在缺少完整数据或权限的条件下依然可以执行。