先给结论:升级后评分变化,通常不是数据本身被改写,而是新版本对同一批行为用了不同的计分口径——比如把某个动作从加分项降为参考项、把时间窗口收窄、或把原先被忽略的事件纳入计算。要解释差异,先确认两版规则各自把什么算作得分条件,再用同一批原始数据分别回算。如果原始事件在升级期间曾被重新导入或去重,那么“评分变了”可能只是记录口径变了,而不是规则变了,这是最容易被漏掉的反例。
评分前后不一致,可能来自三个层面,处理方式完全不同:
区分方法很直接:取一段升级前后都存在的历史数据,导出明细,按旧规则手工重算一遍。如果重算结果等于旧分数,说明规则确实变了;如果重算结果既不等于旧分数也不等于新分数,问题更可能出在数据层。这个动作的结果会决定下一步——规则层差异需要重新校准策略阈值,数据层差异则要先修复记录口径,否则后续所有对比都不可信。
多数人核对规则时会盯着权重表,却漏掉归因窗口。假设某工具旧版把“注册后 7 天内的购买”计入转化得分,新版改为 3 天。同一批用户里,第 4 至 7 天完成购买的人在新版中不再得分,整体评分自然下降。此时若只看权重表,会误以为某个动作被降权,实际是时间边界被收窄。
验证方式:按不同时间间隔对同一批事件分组统计,观察评分差异是否集中在窗口边界附近。如果差异集中出现在第 3 至 7 天区间,归因窗口就是主因。这一步的结果会影响你要不要修改流程——若窗口收窄是产品方的固定设定,你能做的只是把触达动作提前,而不是继续调权重。
存在一种情况会让上面的判断全部失效:升级过程中历史事件被重新导入,且新版对重复事件做了合并。假设旧版把同一用户的两次相同点击记为两条事件、各加一次分,新版按事件指纹去重后只保留一条。此时评分下降与规则权重毫无关系,纯粹是记录条数变了。
识别证据:对比升级前后同一用户的事件明细条数,若条数减少而事件类型分布不变,基本可以确认是去重导致。这种情况下,用旧规则重算也无法复现旧分数,因为原始记录已经不同。反例成立的条件是——你必须能拿到升级前的明细导出,否则无法区分“去重”与“规则收紧”。这也说明,解释评分差异的前提是保留一份升级前的原始数据快照。
与其争论哪个分数对,不如做一次可复现的对照:
这一步的关键是分项对比而非总分对比。总分只能告诉你“变了”,分项贡献值才能告诉你“哪里变了”。完成对照后,你会得到一份可留存的口径说明,后续再遇到评分波动时,可以直接拿它判断是新变化还是老问题。具体工具中规则项的名称、入口和可调范围各不相同,需要以你所用版本的实际界面和文档为准,不要沿用旧教程里的描述。