更新时间: 2025-07-01 11:36:15
但是这也不表示没有办法了，全局搜索一下就能找到了，如下图：CategoryId 就是这个分类的 ID，也就是 URL 中“bookListInCategory/”后面的内容。至于 maxIndex，可以先设为0，然后发送请求得到这一分类的书本总数“totalCount”，然后根据这个书本总数是否超过一千来设置页数，就能得到这一分类下能够爬取到的所有 URL 了。 爬取步骤前面经过分析已经知道只要拿到书本分类 ID，就能发送请求得到书本总数，也就能构造该分类下的所有页面的 URL 了。那要怎么得到所有分类呢？前面全局搜索的时候已经搜到了书本分类的 CategoryId 等信息，如下图：所以只需先请求页面然后用正则匹配 CategoryId 就行了！然后对每个分类发送一次请求，用于获取书本总数，并构造这一分类下的所有 URL。这一部分代码如下： 1 def prepare(base_url="weread.qq.com/web/categor…") -> list: 2 """ 3 prepare for crawler 4 :param base_url: weread base url 5 :return: page url list 6 """list: 8 """ 9 request function 10 :param url: url 11 :return: page url list 12 """ 13 page_urls = [] 14 try: 15 res = requests.get(url=url, headers=headers) 16 if res.status_code == 200: 17 count = res.json()["totalCount"] = 1000 else count // 20 19 page_urls = [url + "?maxIndex={}".format(i * 20) for i in range(cnt)] 20 else: 21 logging.error("Error request!") 22 except Exception as e: 23 logging.error(e) 24 finally: 25 return page_urls 26 27 resp = requests.get(url=base_url, headers=headers) 28 # check status code 29 if resp.status_code == 200: 30 id_list = re.findall('"CategoryId":"(.+?)"', resp.text) 31 id_list = list(set([i for i in id_list if i[0].isdigit()])) 32 href_list = ["weread.qq.com/web/bookLis… for i in id_list] 33 result = [] 34 for href in href_list: 35 result += request(href) 36 logging.info("Url count: {}".format(len(result))) 37 return result 38 else: 39 logging.error("Prepare error!") 40 exit() 进行到这一步，后面就很简单了，就是获取请求结果并解析即可。程序运行时打印输出如下： 可以看到总链接数有7091条，那么爬到的书本信息有多少条呢？因为我用的是 MongoDB 保存的，所以打开 Robot3T 查看，总共有141137条，结果如下图：绘图分析熟悉 Python 的都知道，matplotlib 是 Python 中用的最多的 2D 图形绘图库。不过我在这推荐一个好用的第三方库：pyecharts，这是一个用于生成 Echarts 图表的类库，生成的图表更加精巧，可视化效果更好，不过需要注意的是 pyecharts 的0.5版本和1.0版本使用方法是不同的。下面就是使用这个库生成的横向柱状图了，分别表示评分前十的书籍、阅读量前十的书籍和总阅读量前十的作者：可以发现评分高的书籍阅读量却不一定高，阅读量更多的往往是一些网络小说。为什么好像现在名著都不怎么讨喜，而网络小说却能让更多人着迷呢？个人猜想是小说里的世界可能更加能够满足现在年轻人的幻想吧，现实生活疲惫不堪，就会更加迷恋小说中的“世外桃源”吧。感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的： ① 2000多本Python电子书（主流和经典的书籍应该都有了） ② Python标准库资料（最全中文版） ③ 项目源码（四五十个有趣且经典的练手项目及源码） ④ Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习） ⑤ Python学习路线图（告别不入流的学习） 了解详情：docs.qq.com/doc/DSnl3ZG…
...中国网络文学现象值得关注 2024-11-29 07:00 发布于：河南省“很人心目中把‘网络文学’与玄幻、修真等题材绑定起来，其实这只是网络文学发展的一个特定阶段。是很网络文学作者进入文学创作领域时，追求题材差异化的选择。”11月28日开幕的“2024中国网络文学论坛”上，研究网络文学20年的首都师范大学艺术与美育研究院教授许苗苗在接受记者采访时，对“网络文学”的特点再次进行了深入的阐述。 许苗苗认为，网络文学和传统文学一样题材广泛，除了备受大众喜爱的玄幻、穿越、修真等类型，近年来现实题材的创作也取得了突出的成果。“比如说《大国重工》这部作品是带着幻想、穿越的形式来写我们重工业的发展过程，虽然题材是针对当下现实的，但它是非常典型的网络文学创作模式。”许苗苗表示，还有一类典型的“学霸文”是针对青春校园题材的网络小说，写的是通过做题改变命运，也是运用穿越等手法描写现实生活，属于现实题材。 “现实题材的作品放在网上或者网下读起来并没有太大区别，但我们需要注意的是文本创作过程。网络文学是在网络上创作、首发的，作家在创作过程中会考虑到读者的评价、会根据读者的反映来及时调整自己的思路，把问题或逻辑漏洞补上等，它关乎作家本身的创作过程。”许苗苗表示，20年来，中国网络文学从一个弱小的争议性概念壮大成如今备受关注的当代文化现象，从网络文学发展中可以看到中国社会文化变革、技术进步和产业经营模式等方面的，其发展远超想象，值得进一步研究和关注。 本报记者 左丽慧 本版图片由本报记者 徐宗福 李新华 摄返回搜狐，查看更多 平台声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。阅读 ()
...都市小说由于其剧情内容以现实都市生活作为社会背景，所以看起来会更有真实感和代入感，很容易让人有身临其境的感觉，容易引起读者共鸣，这个时候如果书名起得好，就更如虎添翼了。不知道都市小说名字怎么取，可以从这篇文章中汲取取名灵感。青春都市小说名字怎么取青春都市小说这个题材有两个重点，一是青春，二是都市，这类小说一般主角的年纪是偏小的，因此读者的年龄段也会比较小，可以将小说名字取得简单通俗一点，突出青春感和时尚感。《臭小子，你别跑》这个书名以女生的口吻取的，推荐以女主视角来写这篇都市青春小说。为小说取书名可以从内容、内核来取，同时也要考虑到读者群体的年纪，这本小说可以靠名字吸引到初中女生，以男女主情愫初生的某一句对话来取书名，显得有青春少女时期的泼辣活泼感。《风华正茂》“风华正茂”这个成语的意思是正是青春焕发、风采动人和才华横溢的时候，突出了青春都市小说男女主朝气蓬勃、奋发有为的精神面貌，一来时尚，二来又贴合了主角的年纪、形象特点、精神风貌，浅显易懂，年纪小的读者也能理解这个成语。《十年之约》青春都市小说的男女主角一般是十六七岁到二十来岁的年纪，这个时候可能还在上学，或者刚步入工作，处于人生成长、事业最重要的黄金时期，未来的十年是非常具有戏剧性的时间段，以此来取小说名字，能够让人知道整个故事就是围绕一个以十年为期限的约定而展开的。都市恋爱小说名字怎么取都市恋爱小说这个题材也有两个重点，一是都市，二是恋爱，这类小说以霸道总裁玛丽苏为主流，因此推荐多多使用总裁、千金、妈咪、霸道等词来取小说名字。《霸道总裁放过我》有一本很著名的都市爱情小说叫做《霸道总裁爱上我》，仿照这个模式取一个书名，但是以相反的感情线来取，适合讲述一个霸道总裁追求平民女孩，但是女孩很清醒的知道与对方不是一个世界的人，最终选择逃离这段感情的故事。蕴含了都市恋爱小说的两个特点。《契约恋爱》都市恋爱小说中还有一个非常有意思的设定——契约，许多都市爱情电视剧中也会出现该桥段，讲述女主为了钱或者其他东西，与男主签订恋爱契约，成为契约情侣，但是往往发展到后面会假戏真做。为都市恋爱小说取这个名字很有代表性，一看就知道是什么题材的小说。《千金爱上黑道头头》除了霸道总裁和集团千金，黑道头头也是都市恋爱小说中出现频率很高的身份设定，为小说取这个书名，表明了男女主的身份差别，以反差来吸引读者产生好奇，阅读书籍了解整个故事的来龙去脉，是个霸道中带有甜蜜感的小说名字。都市小说男主名字怎么取为都市小说男主取名字，可以从男主的性格角色入手，如果想将其塑造成一个狂酷炫霸拽的形象，可以将他的名字取得霸道一点，例如龙傲天。为大家推荐几个不错的都市小说男主名，以帮助大家取名字。顾渊礼根据大数据显示，小说中男主的姓氏是现实中的大姓的几率比较低，反而以江南广东地区的偏小姓氏占多数，例如林、苏、顾、沈、白、叶、李、陆、秦、陈，是排名前十的姓氏。为男主取名为“顾渊礼”，可见男主是个霸道总裁人设，家族文化底蕴深厚，看重礼仪和教育。苏世远苏姓就更不用说了，很多都市玛丽苏小说频频出现该姓氏，男主女主都可用。为都市小说男主取名为“苏世远”，表示男主出生于书香门第的家庭，是个高干家族的身世背景，适合塑造儒雅、谦逊的角色形象，为男主取名要多考虑想要为其塑造的性格、形象特点。都市小说名字大全1、微小说2、梨花雪3、仙剑翩翩4、飞花漫天5、回忆的另一端是守望6、青草离离7、散雾霭千年8、前尘如烟9、迟日江山暮10、剥落云烟11、蝶舞天下12、前缘不见君颜13、莲花似烟14、微兰暮迟睡15、时光剥蚀的爱恋16、翎羽散灰湮17、丁香露泣18、染墨锦年19、彼此的约定20、初夏•紫藤21、苦涩22、如果安琪儿不孤单23、方程式爱情24、梨花风雨25、遗剑恸离别26、时间煮雨27、重山烟水寒28、永远的爱29、彼岸花开彼岸岛30、宠宠欲动31、新月映潋滟32、匿名“快递”33、命中注定只爱你34、萧声乱35、陌上花开，与心相连36、温柔的人不会一直孤单37、醉君颜38、奉天沈水殇39、倾复为谁怜40、重梦无烟41、宇寰悬月42、我们仍未知道的花名43、泪断沉梦魇44、花容醉千年45、星际过往46、窗临月影斜47、盛夏半颗歆48、三更月49、遇见爱50、莫使樽对月51、你是我人生的插曲52、抛弃了的尊严，挣扎53、寒山拾残叶54、后宫烟沙55、咖啡56、余雪，你还在倔强57、明珠泪58、随便找个理由59、吹冷长安月60、青丝白衣61、等你的季节62、蒲公英的爱63、初夏•停邂64、墨染云天65、千丝雪66、年代风华67、伪坚强68、笑浮生悲怜69、近似无限透明的蓝70、凤去台空71、天山飘雪72、我贞的碍你73、素锦年华74、凰过尘烟75、浅唱我们青春的歌76、逝去的还会回来吗77、映天下心碎78、焦急的罗曼史79、爱情奔跑吧80、爱的比例81、霜镜美人醉82、衣袂飘飘83、终君何见84、天涯飞雪85、追忆如梦的初恋86、梨落如雪87、玉箫曲当年88、若落若馨89、落梅雪乱90、浮华如往昔91、月倾天下92、略懂你93、夏日恋曲94、我爱你等于你爱我95、月夜宫魂96、夜静花寒97、回廊一寸相思地98、半夏花开半夏伤99、溺于心海100、飘零絮101、农民那点事102、风萧亦寒本栏目将持续更新更多小说名字，正在创作的你如果没有取小说名字的灵感，可以多看看本栏目更新的文章。
...