识别样本污染的关键,不是看哪个版本数据更好,而是先确认同一批访客是否被稳定地分到同一版本。如果分流记录、站内统计和第三方估算出现口径冲突,应优先检查分配环节,而不是直接比较结果。下面以一份正在做A/B测试的落地页分流日志为对象,说明如何把可疑数据转成可执行的处理方案。
样本污染通常有两类来源:一类是访客实际看到了多个版本,另一类是访客只看到一个版本,但记录时被重复归入另一组。两者处理方式不同。前者要修分流逻辑,后者要修日志或统计口径。
可以先取一小段可核查的证据链:同一访客标识在分流日志中的版本记录、站内事件中的版本字段、以及第三方估算的落地页访问量。如果分流日志显示同一标识多次出现且版本不同,问题更可能在分配环节;如果分流日志稳定,但站内事件里版本字段缺失或错位,问题更可能在记录环节。
实际动作:从分流日志中抽取同一访客标识的全部记录,按时间排序,标记版本切换次数。若切换次数大于零,下一步不是继续看转化率,而是先查这个标识是否被多个入口重复分配。
单看某个版本转化率下降,不能直接证明样本污染。以下证据组合可以帮助区分原因:
这些现象各自都有其他合理解释。例如,版本切换比例高也可能是访客主动清除标识后重新进入;版本字段为空也可能是前端埋点未覆盖某个旧页面。因此,不能只凭一个指标归零或一项统计异常就断定污染,必须把分流记录、站内事件和入口来源放在一起核对。
假设一个旧落地页正在退出,新落地页承担主要分流。分流规则本应把新访客全部导向新版本,但旧入口的缓存页面仍会向部分访客展示旧版本,并且这些访客的标识没有被新分流逻辑重新分配。此时,站内统计可能显示新版本访问量正常,但第三方估算中旧落地页仍有少量访问。
处理方案可以分三步:
实际动作的结果:剔除受污染标识后,如果版本间差异消失,说明原先的差异可能来自样本构成不同,而不是版本本身;如果差异仍然存在,才值得继续检查页面内容或转化路径。
旧内容、旧系统或旧合作关系退出时,不必把所有部分都当作污染源处理。可以先判断哪些部分仍在提供有效分流或有效记录。例如,旧页面上的某个表单入口可能仍在收集真实访客,但它的版本字段已经失效。此时可以保留表单入口,只替换版本记录方式。
判断标准是:该部分是否影响访客被稳定分配到同一版本。如果不影响,可以保留并继续观察;如果影响,应先隔离再决定是否退出。隔离动作包括停止旧入口参与新分流、在日志中单独标记旧入口来源、以及把旧入口带来的访客排除在当前比较样本之外。
完成上述核对后,可以按以下顺序推进:
这些步骤的目标不是立刻得到干净数据,而是先让污染范围可识别、可隔离。只有分配环节稳定后,后续的目标用户分析才有可比较的基础。