Don't forget that you have had a dream

    

爬取必应首页大图 - Python

不废话,直接上代码

# -*- coding: utf-8 -*-
# @Author: Wang Hongbin
# @Email:   wanghongbin@ngoos.org
# @Date:   2018-03-16 14:19:27
# @Last Modified by:   Wang Hongbin
# @Last Modified time: 2018-03-28 16:26:07
import requests 
import re 
import os
import time #时间模块

local = time.strftime("%Y-%m-%d_")
baseUrl = "https://cn.bing.com"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'}

def getImgUrl(url):  
    reg1 = r"(/az/hprichbg/rb/.*?.jpg)"
    con = requests.get(url)
    content = con.text
    imgUrl = re.findall(reg1, content, re.S)[0]    
    # imgLink = baseUrl+imgUrl
    return imgUrl  

def getFilePath():
    # filePath = '/var/www/html/biYinPic/images/' + time.strftime("%Y%m%d") + '/'
    filePath = 'C:/Users/Administrator/Pictures/MyDesktop/'
    if not os.path.exists(filePath):
        os.mkdir(filePath)

    return filePath

def getImgName(url):
    reg2 = r"/az/hprichbg/rb/(.*?)_"
    imgName = re.findall(reg2, url, re.S)[0]
    imgName = local + imgName + '.jpg'
    return imgName


def downloadByPic(url):
    imgUrl = getImgUrl(url)
    imgName = getImgName(imgUrl)
    filePath = getFilePath()
    fileName = filePath+imgName
    
    picUrl = baseUrl + imgUrl
    read = requests.get(picUrl)

    f = open(fileName, 'wb')
    f.write(read.content)
    f.close()

# reg3 = r'<div class=\"hplaCata\"><div class=\"hplatt\">(.*)</div><div class=\"hplats\">(.*)</div><div id=\"hplaSnippet\">(.*)</div><div class=\"hplaPvd\">(.*)</div>'

downloadByPic(baseUrl)
print('is ok!')

爬取结果

下图是七月份至今的爬取图片,因为是在window上执行的,电脑不开机的时候不会执行,代码放在Linux上执行也没问题,使用crontab启个定时器就行了

https://file.whongbin.com/blog/img20190430114354.png

您可以自由的转载和修改,但请务必注明文章来源并且不可用于商业目的。
本站部分内容收集于互联网,如果有侵权内容、不妥之处,请联系我们删除。敬请谅解!
所有原创文章采用 知识共享署名-非商业性使用 4.0 国际许可协议 知识共享许可协议 进行许可。

评论已关闭

  更新日志

博客banner下方滚动文字替换为使用 一言API 随机获取 --- updated on 2019-05-22 09:04:31 星期三

  关于博主

三里林,一个致力于分享,分享心得,分享技术,分享知识点的个人博客

  近期评论

  分类目录

救救我啊奥特曼,哪怕你只能撑三分钟…

积极者相信只有推动自己才能推动世界,只要推动自己就能推动世界。

为遇一人而入红尘,人去我亦去,此生不留尘

人生在世不称意,不如自挂东南枝

你永远也看不到我最寂寞时候的样子,因为只有你不在我身边的时候,我才最寂寞。

我是哑巴,你是瞎子,我们就这样保持最纯真的友谊,最遥远的爱情。

用我一生,换你十年天真无邪。

在你最冷的时候,有人不顾自己寒冷抱着你,这就是幸福。