(录用定稿)网络首发时间:2019-09-17 10:49:17

为了在克服短文本的稀疏性和高维度性的同时提升文本聚类质量,提出了一种结合词对主题模型(Biterm Topic Model, BTM)与段落向量(Paragraph Vector, PV)的短文本聚类方法。该方法主要包括两个重要步骤:一是利用由词对主题模型所求出的词-文档-主题概率分布,并结合局部离群因子与JS散度对整个文本集合中的词语进行语义拆分;二是将经过词语语义拆分后的文本输入至向量化模型PV-DBOW(Distributed Bag of Words version of Paragraph Vector)得到段落向量,并将其与对应的文档-主题概率分布拼接起来构成文本特征向量。实验结果表明,本文方法得到的特征向量对短文本具有较强的区分能力,能有效改善短文本的聚类效果,同时也能避免受到短文本的稀疏性影响。

词对主题模型; 段落向量; 局部离群因子; JS散度; 短文本聚类;

10.14135/j.cnki.1006-3080.20190430001

TP391.1

中国知网独家网络首发,未经许可,禁止转载、摘编。

12810768K
在线咨询 用户反馈