GeneralNewsExtractor(新闻网页正文通用抽取器)是一个基于《基于文本及符号密度的网页正文提取方法》论文用Python实现的正文抽取器,可以用来提取 HTML 中正文的内容、作者、标题。
开发介绍
项目起源
开发这个项目,源自于我在知网发现了一篇关于自动化抽取新闻类网站正文的算法论文――《基于文本及符号密度的网页正文提取方法》)
这篇论文中描述的算法看起来简洁清晰,并且符合逻辑。但由于论文中只讲了算法原理,并没有具体的语言实现,所以我使用 Python 根据论文实现了这个抽取器。并分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试,发现提取效果非常出色,几乎能够达到100%的准确率。
项目现状
在论文中描述的正文提取基础上,我增加了标题、发布时间和文章作者的自动化探测与提取功能。
目前这个项目是一个非常非常早期的 Demo,发布出来是希望能够尽快得到大家的使用反馈,从而能够更好地有针对性地进行开发。
本项目取名为抽取器,而不是爬虫,是为了规避不必要的风险,因此,本项目的输入是 HTML,输出是一个字典。请自行使用恰当的方法获取目标网站的 HTML。
本项目现在不会,将来也不会提供主动请求网站 HTML 的功能。
奉天自动seo外链优化工具,奉天自动seo外链优化工具是一款站长用的SEO工具,支持批量增加外链,快速增高世界排名,全部实现自动化外链群发,全部免费,无需人工操作,您可以免费下载。
安兔兔评测是一款专门为智能手机、平板电脑、智能电视等设备评测硬件性能(跑分)的软件,近期推出了PC电脑版本的安兔兔评测工具,支持屏幕坏点测试、GPU性能测试、CPU测试等常用的电
太阳花浏览器官方版是国内公司基于Chrome浏览器的开源代码开发的一款双核浏览器。太阳花浏览器官方版跟谷歌浏览器非常相似,保留了部分优秀特性的同时加入了更符合国内用户习惯的改进和双核浏览模式,一经推出便赢得了用户的一致好评。
手机工具箱可刷机是一款非常好用的手机工具合集,在这款软件里拥有多款实用的手机工具,还能帮助用户进行刷机处理,拯救变砖的手机,感兴趣的朋友不要错过了,欢迎大家下载体验。
wifi密码获取助手,wifi密码获取助手是一款能够查看本机wifi密码的工具,主要是方便电脑小白使用,平时查看也可以通过查看网络连接属性,显示字符查看,您可以免费下载。
火猴浏览器PC版,火猴相信大家都耳顺能详了,但是火候浏览器一直是出现在我们的手机APP中,如今它也有电脑版了。火候浏览器以专业、稳定、兼容、高效作为发展方向,相信这款浏览器是很多喜欢玩游戏朋友的必备神器,您可以免费下载。