团队需要管理上百个爬虫任务,求一套 Python 爬虫管理平台源码。
功能需求
- Web UI 管理爬虫任务(增删改查)
- 定时调度(cron 表达式)
- 任务日志 + 运行状态监控
- 结果导出(CSV/数据库/对象存储)
- 代理池 + UA 轮换 + 失败重试
- 分布式(多 worker)
参考
对标 Scrapyd/Gerapy 但要更完善。技术偏好 Python+Vue,预算 3000-4000。有现成方案的评论区留演示,能定制开发的更好。
暂无菜单项
团队需要管理上百个爬虫任务,求一套 Python 爬虫管理平台源码。
对标 Scrapyd/Gerapy 但要更完善。技术偏好 Python+Vue,预算 3000-4000。有现成方案的评论区留演示,能定制开发的更好。