ENGINEERING NOTE 19 / 50 · SMS

小样本下如何比较接码通道

OPEN RAMBO · 2026-10-27

两单两次成功的证据量远少于数百个成熟订单。比较不确定性和流量构成，而非只看百分比。

本文由 OPEN RAMBO 发布。工程方案和伪代码用于说明设计，不是现有产品 API 文档；示例数字均为演示。

保持人群可比

比较相同服务、国家和等待窗口。在可观察时区分试用、发送前取消和确认发送。无法观察发送时应说明局限，不能编造分母。

展示不确定性

在观察比例旁使用二项区间等明确统计方法。方法有抽样假设，关联性故障和选择性流量可能不满足。区间是有假设的不确定性，不是服务保证。

预设切换标准

切换路由前要求最低成熟样本和有实际意义的差异，同时看等待时间与退款成本。短期尖峰触发调查，持续失败才可能需要限制新流量。

示意流程

channel_a = {"received": 2, "allocated": 2}
channel_b = {"received": 180, "allocated": 200}
# Display n and uncertainty; do not rank only by raw percentage.

如何验收

按服务和国家分层后重新比较，检查原排名是否只是流量结构差异。