当前位置首页 >> 百科新闻 >> 正文

网络小说更好看?python爬取十四万条书籍信息告诉你但是这也不表示没有办法了,全局搜索一下就能找到了,如下图: cat - 掘金

更新时间: 2025-06-17 13:40:07

阅读人数: 360

本文主题: 现实题材的小说应该放在哪里写

但是这也不表示没有办法了,全局搜索一下就能找到了,如下图:CategoryId 就是这个分类的 ID,也就是 URL 中“bookListInCategory/”后面的内容。至于 maxIndex,可以先设为0,然后发送请求得到这一分类的书本总数“totalCount”,然后根据这个书本总数是否超过一千来设置页数,就能得到这一分类下能够爬取到的所有 URL 了。 爬取步骤前面经过分析已经知道只要拿到书本分类 ID,就能发送请求得到书本总数,也就能构造该分类下的所有页面的 URL 了。那要怎么得到所有分类呢?前面全局搜索的时候已经搜到了书本分类的 CategoryId 等信息,如下图:所以只需先请求页面然后用正则匹配 CategoryId 就行了!然后对每个分类发送一次请求,用于获取书本总数,并构造这一分类下的所有 URL。这一部分代码如下: 1 def prepare(base_url="weread.qq.com/web/categor…") -> list: 2 """ 3 prepare for crawler 4 :param base_url: weread base url 5 :return: page url list 6 """list: 8 """ 9 request function 10 :param url: url 11 :return: page url list 12 """ 13 page_urls = [] 14 try: 15 res = requests.get(url=url, headers=headers) 16 if res.status_code == 200: 17 count = res.json()["totalCount"] = 1000 else count // 20 19 page_urls = [url + "?maxIndex={}".format(i * 20) for i in range(cnt)] 20 else: 21 logging.error("Error request!") 22 except Exception as e: 23 logging.error(e) 24 finally: 25 return page_urls 26 27 resp = requests.get(url=base_url, headers=headers) 28 # check status code 29 if resp.status_code == 200: 30 id_list = re.findall('"CategoryId":"(.+?)"', resp.text) 31 id_list = list(set([i for i in id_list if i[0].isdigit()])) 32 href_list = ["weread.qq.com/web/bookLis… for i in id_list] 33 result = [] 34 for href in href_list: 35 result += request(href) 36 logging.info("Url count: {}".format(len(result))) 37 return result 38 else: 39 logging.error("Prepare error!") 40 exit() 进行到这一步,后面就很简单了,就是获取请求结果并解析即可。程序运行时打印输出如下: 可以看到总链接数有7091条,那么爬到的书本信息有多少条呢?因为我用的是 MongoDB 保存的,所以打开 Robot3T 查看,总共有141137条,结果如下图:绘图分析熟悉 Python 的都知道,matplotlib 是 Python 中用的最多的 2D 图形绘图库。不过我在这推荐一个好用的第三方库:pyecharts,这是一个用于生成 Echarts 图表的类库,生成的图表更加精巧,可视化效果更好,不过需要注意的是 pyecharts 的0.5版本和1.0版本使用方法是不同的。下面就是使用这个库生成的横向柱状图了,分别表示评分前十的书籍、阅读量前十的书籍和总阅读量前十的作者:可以发现评分高的书籍阅读量却不一定高,阅读量更多的往往是一些网络小说。为什么好像现在名著都不怎么讨喜,而网络小说却能让更多人着迷呢?个人猜想是小说里的世界可能更加能够满足现在年轻人的幻想吧,现实生活疲惫不堪,就会更加迷恋小说中的“世外桃源”吧。感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的: ① 2000多本Python电子书(主流和经典的书籍应该都有了) ② Python标准库资料(最全中文版) ③ 项目源码(四五十个有趣且经典的练手项目及源码) ④ Python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习) ⑤ Python学习路线图(告别不入流的学习) 了解详情:docs.qq.com/doc/DSnl3ZG…

网络小说更好看?python爬取十四万条书籍信息告诉你但是这也不表示没有办法了,全局搜索一下就能找到了,如下图: cat - 掘金

头条里的小说怎么加入书架 - 起点中文网手机端

加入书架写的小说以下为一些加入书架的小说推荐: - 《海风中失落的血色馈赠》,包含七个发生在布雷顿角的小故事。 - 《阿莱夫》,博尔赫斯的作品,其中第一篇《永生》令人震惊和绝望。 - 《火鸟》,手冢治虫历时三十四年创...1个回答2024年09月01日 03:32诡秘之主加入书架《诡秘之主》是网络文学作家爱潜水的乌贼创作的一部西方长篇玄幻小说。该书融合了多种文化元素,讲述了主角克莱恩·莫雷蒂在充满魔法的世界中,为求自保和回归现实世界,喝下魔药踏上非凡之路,加入官方非凡者队伍值...1个回答2024年08月16日 01:36从头条加入书架的小说怎么找在今日头条网页版上查找书架,可以按以下步骤操作:打开今日头条网页版并登录账号,在页面顶部或侧边栏找到类似于“个人中心”“我的主页”或者用户头像的选项点击进入,在个人中心页面寻找名为“我的书架”“阅读记...1个回答2024年08月12日 07:19头条小说没加入书签怎么找您可以通过以下方法查找未加入书签的头条小说: 1. 首先需要打开软件,然后在界面点击书架,进入书架界面。 2. 在书架界面,点击上面的浏览历史进入界面。 3. 在浏览历史界面可以看到您的阅读历史,向下...1个回答2024年08月09日 14:24书架里的小说怎么删掉如果是在七猫免费小说中删除书架里的小说,您可以这样操作: 1. 打开七猫免费小说 APP,点击右上角三个点。 2. 选择书架管理。 3. 勾选要删除的书,点击删除。 4. 点击确定。 5. 点击右上角...1个回答2024年08月09日 08:27书架里的小说怎么打开如果您指的是抖音极速版书架里的小说,打开方式如下:首先打开抖音极速版 APP,点击右下角的“我”的选项,进入我的页面之后点击作品列表上方“收藏”选项,进入到收藏页面之后在收藏分类中找到“书架”,再点击...1个回答2024年07月31日 03:28书架里的小说怎么看关于书架里的小说如何阅读,您可以采取以下方法:首先,可进行快速泛读,先读目录和简介,以在有限时间内对小说有初步了解。其次,如果在图书馆或书店的书架前选择小说,在畅销书架上选书时可留意相关技巧。另外,如...1个回答2024年07月30日 11:41头条书架小说怎样设置阅读模式以下是在今日头条设置小说阅读模式的方法:首先,进入今日头条后,点击【我的】;然后在个人中心打开【设置】;最后在设置中找到【自动开启阅读模式】点击开启即可。 1个回答2024年07月28日 22:08头条小说怎么移出书架您可以在今日头条 App 中小说频道内点击“书架”,长按选择需要移除的书籍,点击“从书架中移除”。 1个回答2024年07月28日 11:11头条书架小说怎样设置封面目前未获取到关于头条书架小说怎样设置封面的相关内容,无法准确回答您的问题。 点...1个回答2024年07月28日 03:54

鲁迅现实题材小说集-qq阅读

你能告诉我鲁迅写的所有小说集都有哪些吗?很着急! 不一定很满足您的需求哈,但我尽可能推荐与您需求描述最为相关的小说:《鲁门诡事录》这本书是由作者魂呦呦写的一本悬疑-诡秘悬疑类小说,这本小说的大致情节介绍是:我叫周易,是个无煞不贵的童子命。在我还是... 1个回答·2023年12月23日 13:14 提到作品 清朝经济适用男文娱神偷重生之我是齐国太子诡异星巫鲁门诡事录我为国家修文物极品大学生盗墓魁谈叫我陌客大人还真道穿越水浒之我是鲁智深

黑米吧

欢迎來到黑米吧指南,我们致力于提供全方位的日常生活健康知识,涵盖了各方面的科学知识,是值得信赖的社区。