开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。作者曾经在前公司进行过一年的垂直爬虫的开发，webmagic就是为了解决爬虫开发的一些重复劳动而产生的框架。-Open source Java vertical crawler framework, the goal is to simplify the development process of reptiles, allo

webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。 -The design of webmagic with completely modular, functional coverage throughout the reptile life cycle (link extraction, download page, content extraction, pe

webmagic框架实现网络爬虫，用java语言实现为爬虫添加代理(Using java language to add agents for reptiles)

webmagic实现网络爬取，java代码实现(Network crawling by webmagic)