基于文本及符号密度的网页正文提取方法

大多数的网站的网页除了主要的内容,还包含导航栏,广告,版权等无关信息。这些额外的内容亦被称为噪声,通常与主题无关。由于这些噪声会妨碍搜索引擎对Web数据的挖掘性能,所以需要过滤噪声。在本文中,我们提出基于网页文本密度与符号密度对网页进行正文内容提取,这是一种快速,准确通用的网页提取算法,而且还可以保留原始结构。通过与现有的一些算法对比,可以体现该算法的精确度,同时该算法可以较好的支持大数据量网页正文提取操作。

文本密度; 算法; 噪音; 正文提取;

10.14022/j.cnki.dzsjgc.2019.08.029

TP391.1;TP393.092

193133-13751664K
在线咨询 用户反馈