每天抓 7 个接口的价格
接口有分页和限流,失败要等 30 秒。任务 1 到 3 处理分页、重试和去重,单接口 12 万条数据默认 6 分钟跑完。
三段现场,不是产品介绍。
这条管线每天处理 1,200 万行商品与价格数据,来源是 7 个接口和 3 个 CSV。原脚本一个文件 1,400 行,失败后只能从头跑,平均每天浪费 47 分钟。我们把它拆成 9 个任务,按批次记录游标,断了从上一批继续。
清洗层不依赖 pandas 全量读入。CSV 用 DuckDB 直接扫描,接口数据先落 Parquet,再按 12 条规则校验:必填、类型、枚举、区间、重复、跨表一致等。校验失败的行走隔离表,不阻塞整批,第二天可以单独重放。
输出支持 DuckDB 单机和 PostgreSQL 17 两种目标,写入用分批 upsert,默认 5,000 行一批。58 个测试里有 9 个专门测断点续跑和重复批次,确保重放不会产生双份数据。
每个场合都写到具体命令或数据量。
接口有分页和限流,失败要等 30 秒。任务 1 到 3 处理分页、重试和去重,单接口 12 万条数据默认 6 分钟跑完。
3 GB 的 CSV 用 pandas 读会爆内存。任务 4 用 DuckDB 流式扫描,峰值内存控制在 600 MB 以内。
12 条校验规则把异常行挡在隔离表,报表只读通过校验的数据。每条失败记录带规则编号和原始行号。
以最新版本为准,交付前会再核对一次。
| 参数项 | 内容 |
|---|---|
| 版本 | v1.4,2026 年 8 月更新 |
| 技术栈 | Python 3.13、DuckDB 1.1、PostgreSQL 17 |
| 任务数量 | 9 个任务、12 条校验规则 |
| 测试 | 58 个测试,默认 3 分 20 秒跑完 |
| 依赖 | httpx、Pydantic 2、PyArrow,无付费调度服务 |
| 部署 | 本机 Cron 或 systemd timer,附 Docker 方案 |
| 许可 | 单团队商用许可,不限项目数量,不可转售 |
| 交付方式 | 付款后 48 小时内开通仓库只读权限并发送 ZIP |
三条可以逐项核对的差异。
游标按批次落库,重复批次会被幂等键挡住。9 个测试覆盖中断、重放和并发,隔壁模板常只写一句“支持续跑”却没有验证。
DuckDB 扫描 3 GB CSV 的峰值内存实测 600 MB,参数和机器配置写在 README。用 pandas 全量读的同类模板通常要 6 GB 以上。
校验失败不丢弃,带规则编号进隔离表。第二天修完数据可以只重放失败批次,不必重跑 1,200 万行。
时间、形式和退款条件都写死。
付款后 48 小时内开通仓库并发送 ZIP,压缩包约 14 MB,含 3 份样例数据。按 README 起 Docker Compose 后,默认 5 分钟跑完一次 20 万行的端到端示例。
30 天内无法按文档跑通可退款。12 个月内 issue 区答疑,工作日 24 小时内回。接口字段变更导致校验失败,可把脱敏样例发来,协助补一条规则。
买之前先看这一段,能省一次退款。
如果数据量每天不到 100 万行,先用 DuckDB 单机模式,别急着接 PostgreSQL。需要实时流的团队先看清楚:这套管线按批处理设计,最小批次 5 分钟,不覆盖秒级流式。
三个问题,答案不绕弯。
开发环境支持 Windows 11 加 WSL2,生产环境按 Linux 写。纯 Windows 下 Cron 需要换成任务计划程序,README 有示例。
当前版本不接。管线按批次拉取设计,Kafka 需要另做消费层,不在模板范围内。
样例数据是公开商品字段,不含手机号、地址等个人信息。采集前请自行确认目标站点的 robots 与授权范围。
同一问题域里的另外两件东西。
每周二、五发一封邮件,只放当周的排障笔记、命令清单和一处容易踩错的细节。不发广告,随时可退。
也可以直接打电话:0668-339 7712,工作日 09:30 至 18:00。