A/B 测试样本量计算器

在跑实验之前，先算清楚需要多少样本量和多长时间。

实验参数

基线转化率（%）

当前版本的转化率

最小可检测提升（MDE %）

希望检测到的最小相对提升

统计显著性90%（宽松）95%（标准）99%（严格）

统计功效（Power）80%（标准）85%90%（推荐）95%（严格）

日均流量

实验分流比例（%）

总流量中参与实验的比例

50%

实验方案

每组所需样本

30,254

总样本量

60,508

预计运行天数

13天

约

1.9周

基线转化率5%

期望新转化率5.50%

绝对差异0.500 个百分点

注意事项

常见误区

• 过早结束实验：看到显著就停止，会导致假阳性率飙升
• 样本量不足：样本不够会导致无法检测到真实差异
• 多重比较：同时测试多个指标需要做校正（Bonferroni）
• 新奇效应：至少运行 1-2 个完整周期，排除新鲜感