这是一门培养专业爬虫工程师的课程。本课程以大数据业务需求为导向，旨在掌握分布式爬虫的原理、理解互联网技术和各类数据分析挖掘的应用技巧。学完后可收获:
1. 掌握分布式爬虫的实现原理以及常用的使用场景，例如内容聚合、过程跟踪、比价、数据挖掘等
2. 掌握分布式系统架构设计
3. 掌握常用数据库的原理和使用、开发中需要注意的重点
4. 了解如Google、百度、今日头条等互联网公司的产品技术和解决方案
5. 了解从文本采集到存储、分析的全套流程，会涉及基础的机器学习、文本分类和搜索引擎的原理
6. 针对不同任务，能快速开发网络爬虫满足业务需求