关灯

Python爬虫:pyspider抓取宅男女神美女图片

[复制链接]
vagrant01 发表于 2019-8-8 10:53:31 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
 
Python爬虫:pyspider抓取宅男女神美女图片-1.jpg

抓取页面:

https://www.nvshens.com/tag/new/

页面分析:

首页获取所有图片详情页,需要遍历15页



Python爬虫:pyspider抓取宅男女神美女图片-2.jpg




获取得到图片详情页后,需要获取图片集链接



Python爬虫:pyspider抓取宅男女神美女图片-3.jpg




得到图片集链接后,需要获取图片真实地址,需要对所有图片页进行遍历



Python爬虫:pyspider抓取宅男女神美女图片-4.jpg




函数设计:

1. 调用以下2个得到所有详情页的url



Python爬虫:pyspider抓取宅男女神美女图片-5.jpg




2. 调用以下函数得到图片集地址



Python爬虫:pyspider抓取宅男女神美女图片-6.jpg




3. 调用以下函数得到图片真实地址并保存,由于有多页,所以需要回调自身



Python爬虫:pyspider抓取宅男女神美女图片-7.jpg




完整代码



Python爬虫:pyspider抓取宅男女神美女图片-8.jpg




代码地址: https://github.com/copywang/spiders_collection/tree/master/pyspider

抓取效果:



Python爬虫:pyspider抓取宅男女神美女图片-9.jpg
回复

使用道具 举报

 

精彩评论1

正序浏览
听雨潇潇 发表于 2019-8-8 12:05:27 来自手机 | 显示全部楼层
 
珍爱生命,果断回帖。
回复 支持 反对

使用道具 举报

 
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

排行榜
作者专栏

关注我们:微信公众号

官方微信

APP下载

全国客服QQ:

3388506817

Email:3388506817#qq.com

【版权声明】本站大部分内容由网友自发贡献,本站不拥有所有权,不承担相关法律责任,如有侵权请告知,本站将立刻删除涉嫌侵权内容。

Copyright   ©2015-2016  乐云媒自媒体之家Powered by©Discuz!技术支持:乐送网络     ( 津ICP备17006261号 )