浏览 AI使用教程
文案 A/B 测试怎么做：一轮只改变一个变量
A/B 测试一轮只改变一个关键变量，并提前确定指标、样本和停止条件。标题、主图、按钮和价格一起换，即使结果变好也解释不了原因。
需要哪一项，就直接查到哪一段
把表格、命令、清单或规则作为工作中的查询工具，不要求从头顺序阅读。
四个地方同时改了，转化率上涨以后该把功劳给谁
A 版同时换了标题、主图、按钮颜色和价格说明，转化率提高后，团队把功劳归给新标题。实际上无法知道是哪一项起作用。
本页案例材料为教学构造；真实改稿时应替换为对应原文、资料和记录。
- 假设、唯一变量和指标预先写明
- 两版流量和环境可比
- 结果包含不确定性与后续决定
测试假设、版本和结果表要写清哪些字段
| 要记录的内容 | 怎么填写 | 检查点 |
|---|---|---|
| 测试假设 | 写什么用户在什么场景会因哪个变化产生何种行为，说明依据。 | 可被结果否定 |
| 唯一变量 | 只改变标题、证据顺序、按钮文案或其他一项，其他内容与流量条件保持。 | 结果可解释 |
| 指标与护栏 | 定义主要指标、转化窗口和负面指标，避免只挑最好看的数字。 | 口径预先固定 |
| 分流与周期 | 随机或可比流量、设备、渠道、节假日和最小周期。 | 两组环境可比 |
| 结果与决定 | 报告效应、不确定性、异常和是否推广，不把一次波动写成永久规律。 | 有明确下一步 |
一个实验从假设到结果用同一个事件
| 字段 | 本例规定 |
|---|---|
| 问题与变量 | 更具体的交付物标题是否提高表单开始率；只改标题 |
| A / B 标题 | A：AI 办公教程；B：用 7 行示例核对两张 Excel 名单 |
| 分流单位 | 独立访客随机 1:1 分配并保持分组；同一访客多次访问不重复进分母 |
| 主要事件 | 首次合资格访问后 30 分钟内，第一次聚焦表单输入框；每人最多计一次 |
| 采集期与停止 | 教学计划固定 7 天；最后一名访客满 30 分钟后冻结数据；不因某天 B 领先提前停 |
| 异常/护栏 | 分组错乱或事件重复时暂停解释结果；投诉与误导反馈单列。修复后重新制定采集方案，不选择性删数据 |
| 构造数据 | A：62/1000；B：65/1000。并非真实网站流量 |
| 决定 | 记录差异与区间；未证明 B 更好，保留不确定结论 |
从同一组计数复算比例差与近似区间
教学输入
从同一组计数复算比例差与近似区间
const nA = 1000, nB = 1000, startedA = 62, startedB = 65;
const pA = startedA / nA, pB = startedB / nB;
const difference = pB - pA;
const se = Math.sqrt(pA * (1-pA) / nA + pB * (1-pB) / nB);
console.log({ rateA: pA, rateB: pB, differencePoints: difference * 100,
lowerPoints: (difference - 1.96 * se) * 100,
upperPoints: (difference + 1.96 * se) * 100 });此处只示范独立二项样本的正态近似，不是通用样本量规划。极低转化、重复观察、聚类分流或多轮窥视需要相应统计方法；正式测试应先确定业务上有意义的最小差异和样本计划。
这份测试假设、版本和结果表服务哪项任务
| 需要确认 | 本例内容 |
|---|---|
| 现有材料 | 教学实验：落地页标题 A“AI 办公教程”，B“用 7 行示例核对两张 Excel 名单”；同一图片、按钮与表单。构造数据为 A/B 各 1000 名独立访客，表单开始人数分别为 62、65。 |
| 不能越过的边界 | 一轮只改变标题；受众、流量来源、页面其他元素和统计窗口保持一致；提前写停止和异常规则。 |
| 要交付的结果 | 测试假设、版本和结果表 |
完成后的测试假设、版本和结果表
表单开始率 A 为 6.2%，B 为 6.5%，绝对差 0.3 个百分点。按本页独立二项样本的正态近似，95% 区间约为 -1.84 至 2.44 个百分点，跨过零；这组教学数据不足以宣布 B 更好。是否延长或重做要重新制定方案，不能不断看结果直到“显著”为止。
为什么“只改一个变量，结果仍不可解释”还不能交付
只改一个变量，结果仍不可解释
- 原因
- 实验期间流量来源或埋点发生变化
- 怎么改
- 先查分流与事件一致性，质量不通过则延长或重开，不用坏数据得结论
测试假设、版本和结果表通过哪些检查才算完成
本页实际使用的资料
本页自编材料用于演示修改过程，不是客户记录、真实产品测试或平台效果证据。