我校唐厂课题组在多模态生成式人工智能方向取得重要成果

近日，我校计算机学院唐厂课题组在人工智能领域期刊《Information Fusion》（影响因子18.6）发表了题为“Trustworthy Multi-view Clustering via Alternating Generative Adversarial Representation Learning and Fusion”的研究论文，该工作与国防科技大学、301解放军总医院等单位合作，提出了一种多模态生成式人工智能模型用以解决无监督学习中的聚类任务。论文第一作者为计算机学院2021级硕士生杨文琪，指导老师为唐厂教授。

如何利用生成式模型对无标签的复杂多模态数据进行分析及预处理是目前无监督学习中的重要问题之一。然而，现有基于生成式的多模态无监督学习算法往往无法充分挖掘多模态数据之间的一致性信息，且因学得的各模态低维表征之间非对齐而导致融合后的共有知识在处理下游任务时效果不佳。

针对上述问题，本研究提出了一个基于交替生成对抗学习策略的多模态表征学习及融合框架（AGARL），该框架旨在通过生成对抗策略来学习多模态数据的潜在共识表征并服务于聚类等下游任务。该模型主要包括三个主要模块：1）基于交替生成对抗学习的各模态表征学习模块：在本研究提出的交替生成对抗学习策略中，来自不同模态的数据将交替作为参照从而确保了学得的各模态的低维表征落在同一潜在的语义空间中进而避免了因不对齐而导致的聚类性能下降；2）跨模态表征融合模块：不同于以往工作中采取的加权平均融合策略，本研究在融合模块中通过类注意力网络使不同模态的度量结构达到相互一致，从而获得了比其他融合策略更好的性能；3）聚类模块：在学得多模态共识的低维潜在表征后，本研究通过基于自监督的子网络进一步学得了更为紧凑的聚类结构划分。

除此之外，该工作提出的方法不仅在包含传统图像、视频等在内的公开多视图数据集上取得了相对于当前最先进算法更优的性能，而且同样能够在用于药物发现的公开化合物数据集NCI上取得相较于传统聚类算法更优的性能，这说明了本研究所提出的模型具有良好的泛化性能且能够在多模态遥感影像处理、药物发现等实际应用中发挥有效作用。

图 1 AGARL网络架构

Information Fusion是由Elsevier出版商出版的计算机科学领域的顶级期刊之一，中科院分区中为SCI一区TOP期刊，在人工智能领域具有较高影响力。

该研究得到国家自然科学基金、301解放军总医院医学工程实验室的联合资助。

论文信息：

Title: Trustworthy Multi-view Clustering via Alternating Generative Adversarial Representation Learning and Fusion

Authors: Wenqi Yang, Minhui Wang, Chang Tang*, Xiao Zheng, Xinwang Liu and Kunlun He*

Source: Information Fusion

DOI: 10.1016/j.inffus.2024.102323

论文链接: https://www.sciencedirect.com/science/article/abs/pii/S1566253524001015