双曲空间中的神经网络图表示学习

机器学习试图使用图结构化数据作为特征信息进行预测或发现新的模式,其研究重点主要集中在嵌入图中的离散节点进入具有某些所需几何特性的连续空间。尽管图表示学习潜力巨大,但将图嵌入到低维空间并不是一项简单的任务。本文的工作重点是赋予神经网络表示适当的几何结构,以捕获图数据的基本属性,特别是层次结构和聚集行为。而复杂网络中的异质和高聚集拓扑特性却令人惊讶的反映在双曲负曲率空间的基本属性中。因此,本文的目的是通过使用神经网络对相互作用或关系进行建模,并利用数据所存在的双曲流形度量结构来学习得到节点的低维紧凑特征向量表示。而后,探索双曲空间是否有助于学习图数据的嵌入。本文通过将图中丰富的层次结构与现代机器学习所支持的连续表示相融合,分别提出了基于Poincaré模型的生成对抗图表示学习和基于双曲面模型的神经排序图表示学习来捕获图数据的潜在特征表示,特别是其都利用了神经网络的无监督端到端方法以及双曲几何的分层自组织能力来自动抽取节点的相似性和层次结构信息。(1)基于Poincaré模型的生成对抗图表示学习,通过将距离度量设置为Poincaré双曲几何模型中的距离函数,以此来明确的在嵌入空间中抓取数据的层次结构特征。同时,该方法结合先进的随机游走策略探索图的远程拓扑结构信息来构造训练所需的数据集,利用神经网络的对抗学习原理来自动获取更高层次的节点特征表示。所设计的神经网络通过生成模型和对抗模型之间的相互竞争来交替提升彼此的性能,采用强大的学习优化策略来提升模型效率,从而使得该方法能够产生更高质量的节点特征表示。而后,将学习得到的节点特征向量表示分别应用于节点分类、链接预测和可视化并分析了模型的维度敏感性,其实验结果表明该方法在多个任务中具有良好的表现力和有效性。(2)受到一些最近提出的利用双曲空间来提供强有力蕴涵关系表示的启发,基于双曲面模型的神经排序图表示学习没有使用过度复杂的节点交互机制,而是设计了一种嵌入双曲几何的更小更快的神经排序模型来捕获图数据的拓扑结构信息。该方法通过贝叶斯个性化排序目标来最大化正确链接和错误链接之间的差距,以自动学习节点之间的相似性信息。为了捕获数据的层次结构特征信息,特别的在神经网络模型的双曲层通过双曲面模型中的距离函数计算节点之间的层次距离得分。最终,该模型利用基于黎曼梯度下降的方法来学习低维紧凑的节点特征向量表示。在得到节点的潜在特征向量表示后,本文在节点推荐和节点分类任务上对比不同空间中的图表示学习方法,以及分析所提出的方法对维度的敏感性和模型的收敛性。实验结果表明所提出的方法在节点特征学习上不仅高效而且能获得更加紧凑和更具表达力的特征向量表示。综上,本文通过在神经网络模型中引入双曲几何度量来学习图中节点的拓扑结构特征表示,并展示了它们如何高效地学习节点的相似性和层次结构,以提供超越欧几里德嵌入的优势。诸多实验结果表明所提出的方法在节点特征学习上不仅高效而且能获得更加紧凑和更具表达力的特征向量表示。同时也表明,学习有意义的图表示可以使许多重要的图分析任务受益,而嵌入双曲空间中的层次结构能很好地对应于数据的基础语义。

图表示学习; 神经网络; 双曲几何; 复杂网络;

唐素勤;

TP181

97643605K
在线咨询 用户反馈