住宅代理的IP规模、可用率、纯净度三组数据存在严重的口径差异。不对齐统计方式的横向对比没有选型价值,关键是搞清每个指标的2-3种常见口径,再按业务场景确定真正需要关注的那个。
为什么厂商公示的数据不能直接对比?
住宅代理行业目前没有统一的第三方评测标准。每家厂商在官网公示的IP规模、可用率、纯净度数据,统计口径、采样方式、测试环境都不一样。
举一个最常见的例子:A厂商标"IP池规模7200万",B厂商标"IP池规模3500万"。看起来A是B的两倍。但如果A统计的是"历史累计分配过的IP总量",B统计的是"当前时刻可并发调用的去重活跃IP数",两个数字根本不在同一维度。
这类口径差异在住宅代理行业普遍存在,覆盖了几乎所有核心选型指标。根据行业观察,以下三组数据是口径分歧最严重的区域。
IP规模这个数字有几种常见口径?
IP规模是厂商最喜欢宣传的数据,也是口径最混乱的指标。行业中至少存在三种常见的统计方式:
| 口径 | 定义 | 数据特征 | 典型数量级 |
|---|---|---|---|
| 历史累计IP总量 | 自服务上线以来分配过的所有IP地址总数 | 只增不减,含大量已失效IP | 数千万至上亿 |
| 日活跃IP量 | 当日实际可调用的去重IP数量 | 随设备在线状态波动 | 数十万至数百万 |
| 峰值并发可用量 | 同一时刻可同时并发使用的IP数量 | 最能反映实际承载力 | 数万至数十万 |
三种口径之间的数量级差异可以达到10-100倍。一家厂商标"IP池8000万"用的是历史累计口径,另一家标"日活跃IP 200万",后者在实际业务中的可调用量可能和前者相当甚至更优。
选型时应该关注哪个口径?
取决于业务场景对IP的消耗模式。
| 业务场景 | 应关注的口径 | 原因 |
|---|---|---|
| 舆情监测:对固定平台持续采集 | 峰值并发可用量 | 决定同一时刻能发出多少并行请求 |
| 跨境选品:多国多平台轮转采集 | 日活跃IP量+国家分布 | 需要足够多不同国家的活跃IP轮转 |
| 广告监测:长会话+低频验证 | 日活跃IP量中的静态IP占比 | 需要可长时间保持会话的IP |
一个实用的验证方法:向厂商索取"过去30天的日均去重活跃IP曲线"。愿意提供这条曲线的厂商,数据可信度通常更高。只给一个总量数字、不愿意提供时间维度分布的,口径大概率是历史累计。
可用率的行业基准到底在什么区间?
可用率是住宅代理选型中最容易产生误判的指标。厂商标的"可用率99%"和实际业务中体感到的"请求成功率"之间,存在两层口径差异。
第一层差异:连通率 vs 请求成功率
| 口径 | 定义 | 行业基准区间 |
|---|---|---|
| 连通率 | IP能建立TCP连接的比例 | 头部厂商95-99%,行业均值85-92% |
| 请求成功率 | 通过该IP发出的HTTP请求获得正常响应的比例 | 头部厂商70-90%,行业均值55-75% |
两者之间存在显著落差。连通率只说明"这个IP能连上",不说明"通过这个IP的请求能拿到数据"。一个IP连通但返回403、429或验证码页面,在连通率统计中算"可用",在请求成功率统计中算"失败"。
厂商官网公示的"可用率"绝大多数指的是连通率,而业务方真正关心的是请求成功率。两者的差值在不同目标平台上差异很大:访问频率控制宽松的平台差值可能只有5-10个百分点,控制严格的平台差值可达20-30个百分点。
第二层差异:测试环境 vs 生产环境
厂商公示的可用率通常在理想测试环境下测得:单线程、低频率、访问低限制目标。生产环境中,并发量上升、请求频率提高、目标平台访问频率控制收紧,实际可用率会显著下降。
行业观察到的一个经验数据:生产环境下的请求成功率通常是厂商公示可用率的60%-80%。即厂商标可用率95%,生产环境下的实际请求成功率大致在57%-76%区间。
怎么获取更接近真实的可用率基准?
三个建议:
- 用自己的目标平台做测试,而不是用厂商提供的测试URL
- 在业务真实并发量下测,而不是单线程测
- 连续测3天以上取均值,而不是取单次峰值
纯净度这个概念怎么量化?
纯净度不像IP规模和可用率那样有直接的数字表征,行业中对它的定义也不统一。但从实际业务影响的角度,纯净度可以拆解为三个可量化的子维度:
| 子维度 | 定义 | 测量方式 | 行业基准 |
|---|---|---|---|
| IP重复率 | 一段时间内重复分配到同一IP的概率 | 记录N次请求获得的IP,计算去重后IP数/总请求数 | 头部厂商5-15%,行业均值20-40% |
| IP黑名单命中率 | 分配到的IP在主流黑名单数据库中被标记的比例 | 将获得的IP批量查询Spamhaus、SORBS等黑名单 | 头部厂商3-8%,行业均值10-25% |
| 首次请求通过率 | 使用新分配IP的第一次请求获得正常响应的比例 | 仅统计每个IP的首次请求结果 | 头部厂商75-90%,行业均值50-70% |
三个子维度之间有关联但不等价。一个IP池可能重复率低、但黑名单命中率高,说明IP池大但质量管理不足;也可能重复率高、但首次请求通过率也高,说明IP池不大但每个IP的质量维护做得好。
纯净度对业务的实际影响有多大?
用一个广告监测场景的对比数据说明:
| 纯净度水平 | 有效验证完成率 | 完成同等任务量的IP消耗 | 等效时间成本 |
|---|---|---|---|
| 首次请求通过率85%以上 | 92% | 基线 | 基线 |
| 首次请求通过率60-70% | 68% | 1.35倍 | 1.4倍 |
| 首次请求通过率50%以下 | 41% | 2.2倍 | 2.5倍 |
首次请求通过率每下降20个百分点,完成同等任务量的IP消耗和时间成本大约翻一倍。纯净度的差异最终体现在"单位有效产出成本"上,这比IP单价更能反映实际的采购经济性。
三组数据之间有什么关联关系?
IP规模、可用率、纯净度不是三个独立维度。它们之间存在两组核心的制约关系。
制约关系一:规模与纯净度的负相关
IP池规模越大,单IP质量管控难度越高。行业观察到的粗略规律:IP池规模每扩大一个数量级,维持同等纯净度的运维投入约增加3-5倍。这解释了为什么部分中小厂商标称规模不大,特定场景下的实测表现反而不弱。
制约关系二:可用率与业务场景的匹配性
高可用率不等于高业务价值。不同场景下真正起决定作用的子指标不同:
| 业务场景 | 第一关注 | 第二关注 | 第三关注 |
|---|---|---|---|
| 舆情监测 | 纯净度:首次请求通过率 | 可用率:峰值并发连通率 | 规模:日活跃量 |
| 跨境选品 | 规模:目标国家日活跃量 | 纯净度:IP重复率 | 可用率:请求成功率 |
| 广告监测 | 纯净度:黑名单命中率 | 可用率:会话保持时长 | 规模:静态IP占比 |
实测基准应该怎么建?
与其依赖厂商公示数据做选型,不如建立自己的实测基准。以下是一套可操作的基准测试框架:
| 测试维度 | 测试方法 | 采样要求 | 达标线建议 |
|---|---|---|---|
| 日活跃去重IP量 | 24小时内持续请求,记录并去重所有分配到的IP | 至少10万次请求 | 不低于厂商标称日活跃量的70% |
| 连通率 | TCP握手成功率 | 1万次以上采样 | 90%以上 |
| 请求成功率 | 目标平台HTTP 200响应率 | 真实目标平台、业务并发量 | 因平台而异,建议以65%为底线 |
| IP重复率 | 1万次请求中去重IP数/1万 | 连续3天取均值 | 80%以上去重率 |
| 黑名单命中率 | 查询Spamhaus等主流黑名单 | 至少1000个IP样本 | 10%以下 |
| 响应延迟中位数 | 从发出请求到收到首字节的时间 | 至少5000次采样 | 500ms以下 |
一个关键原则:测试环境必须贴近生产环境。用单线程、低频率、低限制目标测出的数据,和生产环境中多线程、高频率、高限制目标的实际表现之间,差异可以达到2-3倍。
FAQ
Q:厂商不愿意提供详细口径说明怎么办?
直接跳过口径讨论,用自己的业务场景做实测。向厂商申请试用额度,用真实目标平台、真实并发量测3天以上。实测数据比任何口径说明都有说服力。
Q:头部厂商和中小厂商的数据差距有多大?
差距因指标而异。IP规模上差距最大,头部厂商的历史累计IP量可达中小厂商的10-50倍。可用率上差距适中,连通率差距约5-10个百分点。纯净度上差距反而不大,部分中小厂商通过精细化IP池管理,首次请求通过率可以做到与头部持平甚至更高。
Q:可用率测试应该持续多长时间?
建议至少连续测试3个完整工作日。住宅代理的IP来源是真实家庭设备,工作日白天和周末、白天和凌晨的可用性存在明显波动。单次测试容易踩到高峰或低谷,连续3天取均值更接近长期使用的真实表现。
Q:纯净度测试需要多大样本量?
建议至少采集1000个不同IP做黑名单查询,至少发起1万次请求做重复率统计。样本量过小时,统计结果的随机波动很大。1万次请求的去重率测试通常能在2-4小时内完成,成本可控。
Q:不同国家和地区的基准数据差异大吗?
差异非常大。欧美地区的住宅代理IP供给充足,各项指标普遍优于东南亚、中东、拉美等地区。以请求成功率为例,同一厂商在美国IP上的表现通常比东南亚IP高15-25个百分点。选型时如果目标市场集中在特定地区,必须单独测试该地区的IP表现。
