用对照组实验证明活动增量价值
Simon Ni · July 2026
用对照组实验量化每场活动的真实增量贡献
| # | 维度 | 指标 | 公式 | Target |
|---|---|---|---|---|
| KR1 | 规模 | Total Incremental Profit | Σ(活动组Revenue − 对照组Revenue) − Cost | [BI测算] |
| KR2 | 质量 | eFTD Incremental Lift % | (活动组eFTD率 − 对照组eFTD率) / 对照组eFTD率 × 100% | [BI测算] |
| KR3 | 效率 | Revenue / Cost | 活动组增量Revenue / 活动总成本 | [BI测算] |
| KR4 | EU | EU Site Campaign ROI | EU活动收入 / EU活动成本,QoQ↑ | [BI测算] |
| KR5 | 基建 | Holdout基建上线 | 分组+过滤系统上线日期 | Aug 31 |
KR1-4的Target数字需BI基于H1 actuals测算后提供
| # | 标准 | 判断依据 |
|---|---|---|
| 1 | 明确业务目标 | 对应哪个KR(eFTD / Revenue / Retention 选一个) |
| 2 | 增量逻辑清晰 | 为什么不做这场活动目标达不到?证据是什么 |
| 3 | ROI预估 ≥ 3x | 事前算账:预算 vs 预期回报 |
| 4 | Holdout可执行 | 活动形式必须支持对照组验证 |
| 5 | 不撞期/不撞人群 | 与现有活动间距≥2周,人群不重叠 |
| 问题 | 现状 |
|---|---|
| 活动数量 | 过多 — 活动间互相稀释,用户疲劳 |
| 质量衡量 | 无对照组 — 分不清自然增长 vs 活动增量 |
| ROI真实性 | 事后归因 — 把自然转化算进活动ROI,数字虚高 |
| 活动审批 | 无统一标准 — 能不能做全凭经验判断 |
| 复盘机制 | 缺失 — 做完就过,没有数据沉淀 |
以上问题导致:钱花了但不知道值不值,团队忙但产出不清晰
| 时间 | 里程碑 | Owner |
|---|---|---|
| Aug W1-2 | BI建分组逻辑 + 报名系统过滤 | BI + Product |
| Aug W3-4 | 用户分组完成 + 灰度测试 | BI + QA |
| Aug 31 | Holdout基建正式上线 | All |
| Sep W2 | 第一场Tier 1活动执行holdout | Campaign |
| Sep W4 | 首份Incremental Lift Report | BI + Simon |
| Dec | Q3全量复盘汇报 | Simon |
| Action | Owner | Deadline |
|---|---|---|
| BI测算KR1-4 target数字 | BI Lead | Aug 5 |
| Holdout分组PRD | BI Lead | Aug 8 |
| 报名系统改造排期 | Product | Aug 12 |
| EU ROI baseline确认 | Jack Team | Aug 15 |
| Holdout正式上线 | All | Aug 31 |