数据采集 / CRAWLER
每日数据采集中心
六路数据源分层调度：重点 SKU 每小时增量，全量每日 06:00 起跑、07:00 前备齐， 供选品模型与 Listing 优化引擎消费。自有店铺指标走开放平台 API 取一手数据； 竞品指标只能从公开页面推算，两者在下方分开标注。小时级波动曲线见「数据溯源」页。
本页为演示数据（采集任务与竞品快照均为编造），非真实采集，不可用于业务判断。 真实抓取的 SHEIN 数据见首页「真实采集」。
今日采集记录
14,308条
六路数据源合计
采集成功率
99.6%
54 条失败，已转重试队列
新发现商品
352款
未入库过的 SKU，进入选品池
全链路耗时
54分钟
06:00 起跑，06:54 完成
采集任务编排
每日定时 + 实时触发，失败任务指数退避重试
自有店铺表现数据
SHEIN 后台开放平台 API正常25 店铺 × 1,842 在售 SKU
曝光 / 访问 / 加购 / 销量 / 库存 —— 一手数据
频率
每小时 + 06:00 全量
上次运行
今日 09:00
记录数
1,842
失败
0
SHEIN 前台榜单与热搜
SHEIN 前台爬虫有告警4 站点 × 18 类目 Best Sellers Top 100
38 条命中风控滑块，已转备用代理池重试
频率
重点层每小时 / 全量每日
上次运行
今日 09:04
记录数
7,200
失败
38
竞品商品快照
竞品平台爬虫正常Amazon / Temu 同类目 TOP 500
价格 / 评论数 / 评分 / 排名 —— 销量需推算
频率
重点层每小时 / 全量每日
上次运行
今日 09:08
记录数
1,000
失败
12
社媒热度词
社交媒体第三方数据正常TikTok 标签 + Instagram 话题
频率
每 4 小时
上次运行
今日 08:00
记录数
3,400
失败
0
1688 供应链报价
供应链爬虫正常在选品池商品的对口货源
采购价 / 起订量 / 工厂产能
频率
每周一 05:00
上次运行
8-11 05:00
记录数
860
失败
4
运营人工录入
人工录入运营后台正常供应商推荐 / 展会选品 / 自主发现
预测时赋予更高权重
频率
实时
上次运行
今日 09:12
记录数
6
失败
0
指标可得性矩阵
立项前必须对齐：同一个指标，自有店铺与竞品的获取难度完全不同
| 指标 | 自有店铺（开放平台 API） | 竞品 / 大盘（公开页面） |
|---|---|---|
| 曝光量 | 直接获取 开放平台 API，日维度 | 拿不到 前台不暴露，且无可靠代理指标 |
| 访问量 (UV/PV) | 直接获取 开放平台 API，日维度 | 拿不到 前台不暴露；只能用榜单位次做相对热度排序，无绝对值 |
| 点击率 CTR | 直接获取 由曝光与点击直接计算 | 拿不到 分子分母都拿不到 |
| 加购量 | 直接获取 开放平台 API | 推算 部分站点有「N+ 人加购」营销角标，为分档值而非精确数 |
| 销量 / 采购量 | 直接获取 订单接口，实时 | 推算 评论数日增 ÷ 评价率 + 「N+ sold」角标 + 库存扣减探测，三路交叉 |
| 库存 | 直接获取 海外仓系统 + API 回读 | 推算 加购至数量上限，读取返回的剩余可购数 |
| 售价 / 促销价 | 直接获取 API | 直接获取 商品页直接解析，含划线价与活动标 |
| 评论数 / 评分 | 直接获取 API | 直接获取 商品页直接解析，是销量推算的主输入 |
| 搜索排名 / 榜单位次 | 推算 需按关键词爬前台反查自家 SKU 位置 | 直接获取 榜单页直接解析 |
| 退货率 | 直接获取 后台，周维度 | 拿不到 只能从差评文本做粗略情绪归因 |
| 类目热搜词 | 直接获取 后台选品工具 | 推算 搜索下拉联想 + Google Trends 侧写 |
曝光、访问量、CTR 这三项在竞品身上标红——SHEIN 前台不暴露，市面上也没有可信代理。 任何声称能提供竞品访问量的第三方工具，给的都是模型估算值，不要当真值用于改价决策。
推算方法与依据
三条路各自独立取证，说不出失效场景的推算就是猜
评论回归法
主推算路径日销量 = 评论数日增 ÷ 评价率
依据 评论必然来自真实成交，是公开页面上唯一与销量严格同源的字段。评价率不取行业传言，而是用我们自有 25 店铺的「真实订单数 ÷ 同期评论增量」按类目回归得出（见下方校准表）。
假设 竞品与我们在同类目、同价格带下的买家评价习惯接近
失效 刷评、活动期评论延迟沉淀、新品评论未积累时严重失真
角标分档法
上下界约束累计销量 ∈ [角标下限, 下一档下限)
依据 SHEIN / Temu 商品页的「N+ sold」由平台按真实成交打标，是平台官方口径，不含推测成分。
假设 角标刷新有延迟，通常滞后 1–3 天
失效 只有分档值，无法给出日粒度；低销量商品不显示角标
库存扣减法
交叉验证区间销量 = 库存(T0) − 库存(T1)
依据 把商品加购至数量上限，接口会返回剩余可购数，两次快照相减即为该时段真实出货量。这是三条路里唯一直接观测成交的方法。
假设 期间没有补货、没有改动限购策略
失效 补货会让差值变负或偏小；大卖家高频补货时基本不可用
评价率校准表
整套推算的地基：评价率不取行业传言，用自有 25 店铺近 90 天「真实订单 ÷ 同期评论增量」回归得出
| 类目 | 站点 | 样本 SKU | 真实订单 | 同期评论 | 评价率 | 95% 置信区间 |
|---|---|---|---|---|---|---|
| Home & Living | 美国站 | 312 | 48,210 | 1,687 | 3.5% | 2.9% – 4.1% |
| Women Apparel | 美国站 | 468 | 91,340 | 3,654 | 4.0% | 3.4% – 4.6% |
| Women Apparel | 中东站 | 254 | 62,180 | 1,367 | 2.2% | 1.7% – 2.7% |
| Accessories | 美国站 | 196 | 33,470 | 1,573 | 4.7% | 3.9% – 5.5% |
| Beauty & Health | 美国站 | 142 | 27,890 | 1,394 | 5.0% | 4.2% – 5.8% |
| Pet Supplies | 南美站 | 78 | 9,120 | 264 | 2.9% | 2.0% – 3.8% |
必须分站点校准：中东站 Women Apparel 评价率 2.2%，美国站同类目 4.0%，差了近一倍。 用一个全局系数去套所有站点，中东站的销量会被系统性低估 45%。未覆盖的类目退回行业兜底区间2%–5%，并自动扣减置信度。
竞品日销推算
三路证据取交集收窄区间，点击展开每一条的取证明细
取证明细
评论日增 62 条 ÷ 评价率 1.7%–2.7%（Women Apparel · 中东站 自有样本）
2296–3647 件/日可购数 4380 → 3100，期间检测到补货 +820 已回补，24h 净出货 2100 件（按下限计）
2100–2730 件/日平台角标「10k+ sold」，累计销量 ≥ 10,000 件，量级与推算一致
量级校验推算值只进选品排序这类容错高的场景。置信度低于 60% 的条目不参与爆品指数加权， 也永远不触发自动改价——改价看的是自有店铺的一手数据，高风险动作照旧走人工审核节点。
采集稳定性与边界
决定这套系统能不能长期跑下去，而不只是跑通一次
频率控制
单站点 ≤ 1 req/s，夜间错峰
高频是被风控的首要触发条件，也是成本大头
代理池
住宅 IP 轮换，按站点分池
中东/南非站对机房 IP 拦截更严
失败重试
指数退避 3 次，仍失败转人工队列
静默丢数据会让模型学到错误的趋势
快照留存
原始 HTML 存 90 天
页面改版后可回溯重解析，不用等下一轮采集
字段校验
价格/评论数跳变超 50% 拦截告警
解析器被改版打坏时，脏数据比没数据更危险
边界
只采公开页面，不碰登录态与用户数据
自有店铺数据一律走开放平台 API，不用爬的