基于共同子空间分类学习的跨媒体检索研究

作者:韩红旗; 冉亚鑫; 张运良; 桂婕; 高雄; 易梦琳
更新时间:

由于不同媒体数据之间存在严重的异构鸿沟和语义鸿沟,无法直接计算它们之间的语义相似度,影响了跨媒体检索的实现和效果。目前提出的公共子空间学习虽然可以实现跨媒体语义关联和检索,但大多采用通用的特征提取技术,在语义匹配方面分类效果较差。它不能有效地实现跨媒体数据的高级语义关联计算,影响检索效果。在这方面,提出了一种Stacking-DSCM-WR跨媒体关联方法,用于文档和图像之间的跨媒体检索。该方法基于词向量技术形成文档的特征表示向量,通过残差网络技术提取图像的特征表示向量,利用深度典型相关性分析技术将不同模式的数据投影到公共子空间,然后利用Stacking集成学习算法获得文本和图像在同一高层概念语义空间中的分布,从而对两种不同模式的数据进行语义匹配相似度计算。在Wikipedia和Pascal Sentence的两个小型跨媒体数据集和一个大型跨媒体数据集INRIA·Web·search上进行了跨媒体检索实验。实验证明,该方法能有效地提取文本和图像的特征,实现高层语义空间中跨媒体数据的关联和匹配,并与MAP索引中类似的跨媒体检索方法进行了比较,取得了良好的检索效果。