GeneralNewsExtractor(新闻网页正文通用抽取器)是一个基于《基于文本及符号密度的网页正文提取方法》论文用Python实现的正文抽取器,可以用来提取 HTML 中正文的内容、作者、标题。
开发介绍
项目起源
开发这个项目,源自于我在知网发现了一篇关于自动化抽取新闻类网站正文的算法论文――《基于文本及符号密度的网页正文提取方法》)
这篇论文中描述的算法看起来简洁清晰,并且符合逻辑。但由于论文中只讲了算法原理,并没有具体的语言实现,所以我使用 Python 根据论文实现了这个抽取器。并分别使用今日头条、网易新闻、游民星空、观察者网、凤凰网、腾讯新闻、ReadHub、新浪新闻做了测试,发现提取效果非常出色,几乎能够达到100%的准确率。
项目现状
在论文中描述的正文提取基础上,我增加了标题、发布时间和文章作者的自动化探测与提取功能。
目前这个项目是一个非常非常早期的 Demo,发布出来是希望能够尽快得到大家的使用反馈,从而能够更好地有针对性地进行开发。
本项目取名为抽取器,而不是爬虫,是为了规避不必要的风险,因此,本项目的输入是 HTML,输出是一个字典。请自行使用恰当的方法获取目标网站的 HTML。
本项目现在不会,将来也不会提供主动请求网站 HTML 的功能。
Doro PDF Writer 是一个 虚拟打印机 ,支持Word,使用时在打印机视窗中选择Doro PDF Writer,然后就可以把屏幕中所见到的内容打印成PDF文档,让你创造一个PDF格式pdf文件从窗户彩色程序。安装包
Rainmeter中文名又叫雨滴桌面秀,原本是一个系统状态监视软件,但现在它的功能已经得到了极大的扩展,rs s fe eder、邮件监视器等常用功能都能够实现,而低资源占用和简易的设计方式为它
UnigraphicsNX12是一款非常专业的3DCAD设计软件,适用于产品设计、工业设计等多个领域,软件将CAD、CAM、CAE和CMM编程应用程序全部集成在一个系统中,能够满足用户的各种需求,有需要的用户
Win10 Modern版WinZip已公布可下载,一般在遇到比较大型的文件传输的时候,大家或许会把文件压缩下再进行传输。而WinZip就是这么一款比较受大家欢迎的工具,因为它能更迅速地压缩和解压大家的档案,从而见效磁盘空间和传输时间。 现在Modern版WinZip已经在Win10/Win8.1
快速CAD橱柜设计是一款快捷、易用、且功能齐全的橱柜设计CAD软件,只能橱柜布置,自动板件分解,一键导出清单,可大幅提高橱柜设计的绘制效率! 功能介绍 软件小安装速度快,操作简
prodad heroglyph(视频字幕制作工具)是一款非常专业的视频字幕制作软件,这款软件可以快速的帮助用户进行制作出许多的特效字幕,而且还自带了许多的模板支持用户选择使用,可以在内置模