使用Python实现通过doi下载文献pdf

使用Python实现通过doi下载文献pdf

第一版实现:通过doi下载单个文献pdf

后续更新第二版:通过读取表格中doi号,获取doi列表,遍历下载对应的pdf文件,不存在pdf,则返回不存在呗

还会有第三版:网页上获取doi号写入表格

第四版:…

第一版:通过doi下载单个文献pdf

#!/usr/bin/python3
# -*- coding: utf-8 -*-

"""
@File: version_1.1_doi_to_get_pdf.py
@Time: 2021/4/20 10:10 下午
@Author: genqiang_wu@163.com
@desc: 通过doi号下载文献pdf

"""

import requests
import re
import os
import urllib.request

# headers 保持与服务器的会话连接
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36',
}

'''
根据doi,找到文献的pdf,然后下载到本地
'''


def getPaperPdf(url):
    pattern = '/.*?\.pdf'
    content = requests.get(url, headers=headers)
    download_url = re.findall(pattern, content.text)
    # print(download_url)
    download_url[1] = "https:" + download_url[1]
    print(download_url[1])
    path = r"papers"
    if os.path.exists(path):
        pass
    else:
        os.makedirs(path)

    # 使用 urllib.request 来包装请求
    req = urllib.request.Request(download_url[1], headers=headers)
    # 使用 urllib.request 模块中的 urlopen方法获取页面
    u = urllib.request.urlopen(req, timeout=5)

    file_name = download_url[1].split('/')[-2] + '%' + download_url[1].split('/')[-1]
    f = open(path + '/' + file_name, 'wb')

    block_sz = 8192
    while True:
        buffer = u.read(block_sz)
        if not buffer:
            break
        f.write(buffer)
    f.close()
    print("Sucessful to download" + " " + file_name)


if __name__ == '__main__':
    sci_Hub_Url = "https://sci-hub.ren/"
    doi = input("请输入需要下载的文献的doi号:")
    paper_url = sci_Hub_Url + doi
    print(paper_url)
    try:
        getPaperPdf(paper_url)  # 通过文献的url下载pdf
    except Exception:
        print("Failed to get pdf")

测试

测试结果图

相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页