8号码库
8号码库

暂无菜单项

首页/社区/广场/源码求购/
打开 MD 链接

团队需要管理上百个爬虫...

倔强码农
发布于 8/17更新于 4周前
995

团队需要管理上百个爬虫任务,求一套 Python 爬虫管理平台源码。

功能需求

  • Web UI 管理爬虫任务(增删改查)
  • 定时调度(cron 表达式)
  • 任务日志 + 运行状态监控
  • 结果导出(CSV/数据库/对象存储)
  • 代理池 + UA 轮换 + 失败重试
  • 分布式(多 worker)

参考

对标 Scrapyd/Gerapy 但要更完善。技术偏好 Python+Vue,预算 3000-4000。有现成方案的评论区留演示,能定制开发的更好。

0 / 600
细中粗
0 讨论
热门最新
总结
暂无总结
热门帖子
  • 8号码库社区版规与发帖指引(新人必读)

    8
    置顶
    8/27326 浏览
  • 半夜两点还在调源码,我劝你这几个瞬间别硬刚

    3
    9/13531 浏览
  • WordPress 源码手动安装与性能优化全流程

    6
    9/34.7K 浏览
  • 宝塔面板从零部署网站源码:LNMP 环境一键搭建全流程

    5
    9/3510 浏览
  • 前端项目源码构建与部署:Vue/React + Nginx 静态托管与 SSR

    3
    9/3375 浏览
  • Docker 容器化源码部署:Dockerfile 与 Compose 编排实战

    5
    9/3773 浏览
  • Node.js 项目源码部署实战:PM2 进程守护 + Nginx 反向代理

    3
    9/3597 浏览
  • 从源码部署 Java Spring Boot:打包 Jar 包 + systemd 守护

    3
    9/3638 浏览
  • 半小时上线个人博客/知识库:通用部署流程(附流程图)

    2
    8/252.4K 浏览
  • 自己搭轻量网盘:Cloudreve 开箱即用(附架构图)

    5
    8/28463 浏览
8号码库
8号码库
首页
源码下载
交流社区
网址导航
版权所有 8号码库
隐私政策常见问题联系我们
捐赠❤️