論文の概要: Enhancing Adversarial Robustness of Vision Language Models via Adversarial Mixture Prompt Tuning

• arxiv url: http://arxiv.org/abs/2505.17509v1
• Date: Fri, 23 May 2025 06:04:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.855467
• Title: Enhancing Adversarial Robustness of Vision Language Models via Adversarial Mixture Prompt Tuning
• Title（参考訳）: 逆混合プロンプトチューニングによる視覚言語モデルの逆数ロバスト性向上
• Authors: Shiji Zhao, Qihui Zhu, Shukun Xiong, Shouwei Ruan, Yize Fan, Ranjie Duan, Qing Guo, Xingxing Wei,
• Abstract要約: Adversarial Mixture Prompt Tuning (AMPT)は、混合テキストプロンプトを学習して、より堅牢なテキスト機能を得る。 一連の実験により,本手法は最先端手法よりも高い対角性が得られることが示された。
• 参考スコア（独自算出の注目度）: 14.714776642137247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained Vision Language Models (VLMs) have excellent generalization capabilities but are highly susceptible to adversarial examples, presenting potential security risks. To improve the robustness of VLMs against adversarial examples, adversarial prompt tuning methods are proposed to align the text feature with the adversarial image feature without changing model parameters. However, when facing various adversarial attacks, a single learnable text prompt has insufficient generalization to align well with all adversarial image features, which finally leads to the overfitting phenomenon. To address the above challenge, in this paper, we empirically find that increasing the number of learned prompts can bring more robustness improvement than a longer prompt. Then we propose an adversarial tuning method named Adversarial Mixture Prompt Tuning (AMPT) to enhance the generalization towards various adversarial attacks for VLMs. AMPT aims to learn mixture text prompts to obtain more robust text features. To further enhance the adaptability, we propose a conditional weight router based on the input adversarial image to predict the mixture weights of multiple learned prompts, which helps obtain sample-specific aggregated text features aligning with different adversarial image features. A series of experiments show that our method can achieve better adversarial robustness than state-of-the-art methods on 11 datasets under different experimental settings.
• Abstract（参考訳）: 大規模な事前訓練された視覚言語モデル(VLM)は、優れた一般化能力を持つが、敵の例に非常に敏感であり、潜在的なセキュリティリスクを示す。 対向例に対するVLMのロバスト性を改善するために, モデルパラメータを変更することなく, テキスト特徴と対向画像特徴とを整合させる逆向的プロンプトチューニング手法を提案する。 しかし、様々な敵対的攻撃に直面している場合、単一の学習可能なテキストプロンプトは、すべての敵対的画像特徴とうまく一致させるためには、一般化が不十分であり、最終的に過度に適合する現象に繋がる。 以上の課題に対処するため,本論文では,学習プロンプトの増加が,より長いプロンプトよりも堅牢性の向上をもたらすことを実証的に見出した。 そこで本稿では,VLM の様々な攻撃に対する一般化を促進するために,AMPT (Adversarial Mixture Prompt Tuning) という逆調整手法を提案する。 AMPTは、より堅牢なテキスト機能を得るために、混合テキストプロンプトを学習することを目的としている。 適応性をさらに向上するため,複数の学習プロンプトの混合重みを予測するために,入力逆画像に基づく条件付き重み付きルータを提案する。 実験により, 実験条件の異なる11個のデータセットに対して, 最先端の手法よりも高い正逆性が得られることを示した。

関連論文リスト

• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
  知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:28:43Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。