自己做的爬虫程序,希望大家多点提点意见

分享创造 · tianshaokai · Created at · 1942 hits
1794

项目地址:https://github.com/tianshaokai/crawler

crawler 的项目结构

  1. crawler-core 是基础模块
  2. crawler-main 是爬虫主程序
  3. crawler-framework 是爬虫设置程序及浏览程序
  4. 项目采用多模块Spring, Spring MVC, Mybatis ### 现在已经完成了初步爬取功能,以后还会继续完善

crawler 的远大理想

  1. 实现多线程爬取
  2. 实现去重功能
  3. web 端实现爬取网站的配置功能,实现爬取内容的浏览及搜索服务
  4. 做一个Android 客户端供大家方便查看
No Reply at the moment.
需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up