做小程序A/B测试前，先搞懂这三件事

小程序A/B测试不是上线前随便跑个对比。它更像用真实用户做的小规模决策实验。先确定要改变哪个业务指标，再决定怎么分流量、看多久、用什么口径判断胜负。这三件事没定，结果很容易变成“看起来有用，其实不能落地”。

一、先定指标：别让点击率替成交率做主

A/B测试的第一步是选指标。很多团队习惯看点击率、停留时长，因为这些数据容易埋点。但企业真正关心的是支付转化、留资数量、复购率。指标选错，测试越认真，离业务越远。

小程序入口分散在微信搜索、聊天分享、公众号菜单、线下扫码。不同入口来的用户行为差异很大。同一个改版，在分享流量里可能提升转化，在搜索流量里反而下降。测试前要和业务方确认：这次改动服务于哪类用户、哪个核心路径。

每个测试设一个主要指标，再加一到两个护栏指标。电商小程序看支付转化率，同时看退款率和客服咨询量。工具类看任务完成率，同时看次日留存。指标不要超过三个，否则解释成本太高。

常州飞傲软件科技有限公司在给本地企业做小程序迭代时，通常先跟业务负责人对齐主要指标，再排测试优先级。这个顺序比急着改代码重要。

二、流量和样本：小程序的盘子，经不起随便对半分

大平台可以轻松切出5%流量做实验。多数企业小程序日活只有几百到几千。对半分之后，每组样本有限，一两周内可能看不出稳定差异。样本量决定了能检测多大的变化。

企业先估算：当前转化率是多少，希望提升多少。提升幅度越小，需要的样本越大。日活500想检测2%的转化提升，测试周期可能长到没有意义。更现实的做法是优先测试影响大、改动成本低的环节，比如注册流程、支付方式、首页主推品。

流量少时，有人用时间片轮换：周一三五用A，周二四用B。这样能扩大样本，但会混入星期效应。同一用户前后对比适合功能上线，不适合价格和活动。关键是让开发团队说清楚偏差在哪，能不能接受。

埋点准确性也要提前查。小程序版本更新后，旧埋点可能失效。事件漏报、重复上报都会让A/B结果失真。测试前跑一遍数据核对，比事后争论更有用。

三、统计判断：别把随机波动当成增长

A/B测试报告不能只写“B比A高3%”。还要给样本量、测试时长、置信水平、主要指标的变化区间。缺少这些，3%可能只是随机波动。决策者不用成为统计专家，但可以要求服务商把判断依据写清楚。

常见问题是提前看结果。测试跑了两天，发现B组数据好，就全量上线。后面数据回落，团队又找不到原因。正确做法是在测试前定好结束条件：样本量达到多少、跑满几个完整周期、主要指标达到什么区间才算赢。

测试周期通常覆盖一个完整业务周期。电商至少看7天，避开大促和节假日。本地生活服务要看工作日和周末的差异。外部活动期间，最好暂停或延长测试。

灰度发布和A/B测试经常被混在一起。灰度发布侧重控制新版本风险，按比例放量；A/B测试侧重验证效果，需要对照和统计判断。两者可以配合，但目标不同。企业先想清楚这次是要降风险，还是要做决策。

给决策者的建议：每个季度挑一个关键业务流程做A/B测试，不要全面铺开；要求开发方在测试前写清主要指标、样本量、结束条件，测试后给置信区间；把测试结论写进迭代文档，下次改动先查历史结论。本地服务商可以用同城底价沟通，但重点看对方是否愿意把统计口径讲清楚。