发布日期:2026-04-11 21:36
4月11日,实验室核心成员、特聘副教授秦思萌的研究成果“Boosting adversarial transferability of vision-language pre-trained models via optimal transport”被人工智能国际权威期刊Pattern Recognition录用。Pattern Recognition是模式识别与人工智能领域国际顶级期刊(中科院1区Top,影响因子7.5,CCF-B),创刊于1968年,由Elsevier出版,是人工智能领域历史最悠久、最具影响力的学术期刊之一。
摘要:视觉-语言预训练模型(VLP)在图像与文本数据处理方面表现卓越,但易受多模态对抗样本攻击。尤为关键的是,针对特定模型生成的对抗样本能够欺骗其他模型,这一现象称为对抗迁移性。该迁移性对实际应用构成重大安全威胁,因此其理解与增强研究日益受到关注。近期研究表明,利用数据增强与图像-文本模态交互可显著提升VLP模型对抗样本的迁移性。然而,现有方法忽视了数据增强后图像-文本对最优对齐这一关键问题,导致生成的对抗样本过度拟合源模型,从而限制其迁移能力。本文探究增强图像集与其对应文本集之间的关系,发现增强图像与部分文本对齐更佳,而与另一些文本对齐较弱。基于该发现,本文提出基于最优传输的对抗攻击方法(OT-Attack),将图像与文本集的特征视为两个独立分布,运用最优传输理论确定两者间最高效的映射关系,以增强对抗迁移性。在多种网络架构与数据集上的大量实验表明,所提方法能有效提升对抗迁移性,并优于现有最优对抗攻击方法。
作者简介:秦思萌,东北大学秦皇岛分校特聘副教授,南洋理工大学访问学者,河北省“冀青之星”典型人物,河北省数据科学与知识管理重点实验室办公室主任兼学术委员会秘书,秦皇岛市金融风险智能预警与防控重点实验室副主任及学术带头人,研究方向为金融风险、可信人工智能、社交计算、大语言模型。主研国家自然科学基金面上项目2项,国家社会科学基金一般项目2项,教育部人文社科基金规划项目1项,河北省自然科学基金面上项目1项,省级其他项目10项。相关成果发表在TPAMI、《Humanities and Social Sciences Communications》《Information Processing and Management》《中国管理科学》、NeurIPS、AAAI、ACM MM、等国内外权威期刊和CCF-A会议。
版权所有:河北省数据科学与知识管理重点实验室 地址:河北省秦皇岛经济技术开发区泰山路143号