論文の概要: Enhancing Adversarial Robustness of Vision Language Models via Adversarial Mixture Prompt Tuning

• arxiv url: http://arxiv.org/abs/2505.17509v1
• Date: Fri, 23 May 2025 06:04:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.855467
• Title: Enhancing Adversarial Robustness of Vision Language Models via Adversarial Mixture Prompt Tuning
• Title（参考訳）: 逆混合プロンプトチューニングによる視覚言語モデルの逆数ロバスト性向上
• Authors: Shiji Zhao, Qihui Zhu, Shukun Xiong, Shouwei Ruan, Yize Fan, Ranjie Duan, Qing Guo, Xingxing Wei,
• Abstract要約: Adversarial Mixture Prompt Tuning (AMPT)は、混合テキストプロンプトを学習して、より堅牢なテキスト機能を得る。 一連の実験により,本手法は最先端手法よりも高い対角性が得られることが示された。
• 参考スコア（独自算出の注目度）: 14.714776642137247
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained Vision Language Models (VLMs) have excellent generalization capabilities but are highly susceptible to adversarial examples, presenting potential security risks. To improve the robustness of VLMs against adversarial examples, adversarial prompt tuning methods are proposed to align the text feature with the adversarial image feature without changing model parameters. However, when facing various adversarial attacks, a single learnable text prompt has insufficient generalization to align well with all adversarial image features, which finally leads to the overfitting phenomenon. To address the above challenge, in this paper, we empirically find that increasing the number of learned prompts can bring more robustness improvement than a longer prompt. Then we propose an adversarial tuning method named Adversarial Mixture Prompt Tuning (AMPT) to enhance the generalization towards various adversarial attacks for VLMs. AMPT aims to learn mixture text prompts to obtain more robust text features. To further enhance the adaptability, we propose a conditional weight router based on the input adversarial image to predict the mixture weights of multiple learned prompts, which helps obtain sample-specific aggregated text features aligning with different adversarial image features. A series of experiments show that our method can achieve better adversarial robustness than state-of-the-art methods on 11 datasets under different experimental settings.
• Abstract（参考訳）: 大規模な事前訓練された視覚言語モデル(VLM)は、優れた一般化能力を持つが、敵の例に非常に敏感であり、潜在的なセキュリティリスクを示す。 対向例に対するVLMのロバスト性を改善するために, モデルパラメータを変更することなく, テキスト特徴と対向画像特徴とを整合させる逆向的プロンプトチューニング手法を提案する。 しかし、様々な敵対的攻撃に直面している場合、単一の学習可能なテキストプロンプトは、すべての敵対的画像特徴とうまく一致させるためには、一般化が不十分であり、最終的に過度に適合する現象に繋がる。 以上の課題に対処するため,本論文では,学習プロンプトの増加が,より長いプロンプトよりも堅牢性の向上をもたらすことを実証的に見出した。 そこで本稿では,VLM の様々な攻撃に対する一般化を促進するために,AMPT (Adversarial Mixture Prompt Tuning) という逆調整手法を提案する。 AMPTは、より堅牢なテキスト機能を得るために、混合テキストプロンプトを学習することを目的としている。 適応性をさらに向上するため,複数の学習プロンプトの混合重みを予測するために,入力逆画像に基づく条件付き重み付きルータを提案する。 実験により, 実験条件の異なる11個のデータセットに対して, 最先端の手法よりも高い正逆性が得られることを示した。

関連論文リスト

• MBA: Multimodal Bidirectional Attack for Referring Expression Segmentation Models [2.5931446496646204]
  Referring Expression (RES)は、自然言語記述に基づく画像の正確なオブジェクトセグメンテーションを可能にする。 その印象的な性能にもかかわらず、RESモデルの敵の例に対する堅牢性はほとんど解明されていない。 本稿では,RESモデルに適した新しい攻撃戦略である textbfMultimodal Bidirectional Attack を提案する。
  論文  参考訳（メタデータ） (2025-06-19T09:14:04Z)
• Can LLMs Deceive CLIP? Benchmarking Adversarial Compositionality of Pre-trained Multimodal Representation via Text Updates [37.65554922794508]
  偽テキストのサンプルを生成するために、MAC(Multimodal Adversarial Compositionality)を導入する。 我々は、サンプルワイド攻撃の成功率とグループワイドエントロピーに基づく多様性を両立させて評価した。 Llama-3.1-8Bのようなより小さな言語モデルを用いて、我々の手法は構成上の脆弱性を明らかにする上で優れた性能を示す。
  論文  参考訳（メタデータ） (2025-05-28T23:45:55Z)
• White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
  本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。 本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。 様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:13:30Z)
• Revisiting the Adversarial Robustness of Vision Language Models: a Multimodal Perspective [42.04728834962863]
  CLIPのような事前訓練された視覚言語モデル(VLM)は、様々な下流タスクにまたがる例外的な一般化を示している。 近年の研究では、テキストベースおよびマルチモーダル攻撃に対する防御がほとんど未調査のままであり、敵攻撃に対する脆弱性が明らかにされている。 本研究は,画像,テキスト,マルチモーダル入力を標的とした攻撃に対して,VLMの対角的堅牢性を改善するための最初の総合的研究である。
  論文  参考訳（メタデータ） (2024-04-30T06:34:21Z)
• Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
  知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:28:43Z)
• OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization [65.57380193070574]
  視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。 近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。 本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
  論文  参考訳（メタデータ） (2023-12-07T16:16:50Z)
• Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
  AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。 我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
  論文  参考訳（メタデータ） (2023-11-19T07:47:43Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• SUR-adapter: Enhancing Text-to-Image Pre-trained Diffusion Models with Large Language Models [56.88192537044364]
  本研究では,事前学習拡散モデルに対するセマンティック・アダプタ (SUR-adapter) と呼ばれる簡易なパラメータ効率の良い微調整手法を提案する。 ユーザエクスペリエンスの向上により,テキストから画像への拡散モデルの使いやすさが向上する。
  論文  参考訳（メタデータ） (2023-05-09T05:48:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。