基本信息
源码名称:一个多线程智能爬虫,爬取网站小说并生成txt,分章节,利用了表格库来美化选择界面
源码大小:0.01M
文件格式:.py
开发语言:Python
更新时间:2020-09-12
   友情提示:(无需注册或充值,赞助后即可获取资源下载链接)

     嘿,亲!知识可是无价之宝呢,但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下,绝对物超所值哦!如有下载和支付问题,请联系我们QQ(微信同号):813200300

本次赞助数额为: 2 元 
   源码介绍

运用了requests os re lxml threading queue prettytable bs4

等库,实现了小说的智能选择与爬取。


def find_details(information):
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/73.0.3683.86 Safari/537.36 '
    }
    root = "http://www.biquger.com/modules/article/search.php?searchkey=" input_name
    response = requests.get(root, headers=headers)
    page_content = etree.HTML(response.content)
    response.encoding = 'utf-8'
    find_first = page_content.xpath('string(//*[@id="wrapper"]/table)')
    print(find_first)
    print(len(find_first))
    find_first_show = page_content.xpath("normalize-space(string(//div[@class='novelslist2']/ul/li[position()>1]))")
    global information_first
    if len(find_first) <= 1:
        str(find_first_show)
        print(find_first_show)
        input_name_find = input("你所查找的小说仅此一个按1开始下载,按2返回查找页面\n")
        if input_name_find.replace(".", '').isdigit():
            if input_name_find.count(".") == 0:
                if int(input_name_find) == 1:
                    find_first_a = page_content.xpath(
                        "//div[@class='novelslist2']/ul/li[position()>1]/span[@class='s2']/a/text()")
                    print(find_first_a)
                    index_first = find_first_a.index(input_name)
                    find_first_href = page_content.xpath(
                        "//div[@class='novelslist2']/ul/li[position()>1]/span[@class='s2']/a/@href")
                    information_first = find_first_href[index_first]
                    return 0
                if int(input_name_find) == 2:
                    request()
                    find_details(information)
            else:
                print("请不要输入带点的小数,只能输入1或2 3秒后返回")
                time.sleep(3)
                find_details(information)
        else:
            print("请输入1或2 不得输入其他字符 3秒后将返回当前的小说页面")
            print("3")
            time.sleep(1)
            print("2")
            time.sleep(1)
            print("1")
            time.sleep(1)
            find_details(information)