入门python其实一个机缘,虽然现在还是入门状态,但是开始接触主要是由于看到网站上有一个喜欢的漫画,但是不喜欢在电脑上看,想要下载下来,但是一张张的保存又太麻烦了,所以开始学习了爬虫。
一个简单的批量网页资源下载,分为4个部分:
- 分析网页规律,找到资源所在的所有网页。
- 分析每个网页的源码和特点,找需要资源的URL,并转化成正则表达式。
- 编写爬虫程序,下载资源。
- 保存资源。
关注前沿和核心科技,做一个更硬核的技术博客!
入门python其实一个机缘,虽然现在还是入门状态,但是开始接触主要是由于看到网站上有一个喜欢的漫画,但是不喜欢在电脑上看,想要下载下来,但是一张张的保存又太麻烦了,所以开始学习了爬虫。
一个简单的批量网页资源下载,分为4个部分: