GeneralNewsExtractor(新闻网页正文通用抽取器)是一个基于《基于文本及符号密度的网页正文提取方法》论文用Python实现的正文抽取器,可以用来提取 HTML 中正文的内容、作者、标题。
开发介绍
项目起源
开发这个项目,源自于我在知网发现了一篇关于自动化抽取新闻类网站正文的算法论文――《基于文本及符号密度的网页正文提取方法》)
这篇论文中描述的算法看起来简洁清晰,并且符合逻辑。但由于论文中只讲了算法原理,并没有具体的语言实现,所以我使用 Python 根据论文实现了这个抽取器。并分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试,发现提取效果非常出色,几乎能够达到100%的准确率。
项目现状
在论文中描述的正文提取基础上,我增加了标题、发布时间和文章作者的自动化探测与提取功能。
目前这个项目是一个非常非常早期的 Demo,发布出来是希望能够尽快得到大家的使用反馈,从而能够更好地有针对性地进行开发。
本项目取名为抽取器,而不是爬虫,是为了规避不必要的风险,因此,本项目的输入是 HTML,输出是一个字典。请自行使用恰当的方法获取目标网站的 HTML。
本项目现在不会,将来也不会提供主动请求网站 HTML 的功能。
John’s Background Switcher是一款自动更换壁纸的软件,可以帮你定时更换桌面壁纸,你可以在您的桌面上放置漂亮的全屏照片和令人惊叹的剪辑,例如您的电脑,Flickr,SmugMug,Unsplash以及更多
神器计算器是一款能够连带计算过程的计算器软件,利用该计算器能够完美的将计算的步骤显示出来,支持导入算数文件,也支持进行幂运算,是一款功能强大的计算器软件。 功能介绍 支
小鹿卧龙助手,小鹿卧龙助手是一款优秀的卧龙推广助手。针对神马移动搜索特性打造,同步管理多个神马后台功能,支持多任务,多账户,多地域操作。并且和神马达成合作,可全面保障你想要的服务与账号安全。,您可以免费下载。
沙漏验机,沙漏验机是全球独创的验机神器,独创的验机功能,强大专业的刷机功能,设备颜色验机、底层指纹码和当前指纹码查看功能再度归来,可以下载体验,您可以免费下载。
Midori官方版是一个轻量级的跨平台网页浏览器,用c语言编写,并完全整合了GTK+ 2。Midori为分页浏览器,并使用了基于OpenSearch的搜索框,虽然其功能仍很不完善,但Midori相比基于Firefox的浏览器在速度上更胜一筹。
CAD快速看图2020是一款2020年最新为CAD快速看图制作的完美的软件。用户可以免费使用全部的VIP会员功能,可以直接查看天正建筑、天正给排水、天正暖通等图纸,为用户提供完美的建筑设计体验,需要的用户赶快来下载试试这款的CAD看图软件吧!