基于多模态特征融合的图像文本检索

搜索

基于多模态特征融合的图像文本检索

全文直达

引用

打印

摘要：随着智能终端和多媒体社交网络的快速发展，多模态数据（如文本和图像）呈现爆炸式增长，导致对不同模态数据互相检索的需求日益增加。然而，模态之间的语义鸿沟限制了对海量多模态数据的有效分析和信息挖掘。因此，实现精准的跨模态信息检索成为学术界的重要挑战，尤其是在文本生成图像和图像生成文本的应用场景中。本文研究了基于 5000 条文本信息和 50000 张图片的文本生成图像检索，以及基于 50000 条文本信息和 5000 张图片的图像生成文本检索。通过计算归一化特征之间的余弦相似度，找出相似度排名前五的图像或文本。研究采用深度学习方法，特别是 CN-CLIP 模型，促进文本与图像的多模态特征融合，实现双向生成，提升用户的检索体验。CN-CLIP模型在多模态表征学习中具有重要意义，采用对比学习方式在大规模图像 - 文本对数据集上进行预训练，成功建立视觉与语言之间的联系。该模型在视觉语言检索中表现优异，并在零镜头图像分类中展现出色性能。其简单有效的方法论推动了多模态表征学习和计算机视觉的研究进展，为跨模态信息检索、图像标注和视觉问答等应用提供了强大支持。随着技术的不断进步，CN-CLIP模型将继续在多模态学习、图像标注、视觉问答等领域发挥重要作用，引领新的研究方向。

关键词：

文本生成图像；图像生成文本；多模态特征融合；CN-CLIP 模型

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2024,6(1)