論文の概要: Investigating Adversarial Robustness of Multi-modal Large Language Models

• arxiv url: http://arxiv.org/abs/2606.03713v1
• Date: Tue, 02 Jun 2026 14:34:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.071197
• Title: Investigating Adversarial Robustness of Multi-modal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルの逆ロバスト性の検討
• Authors: Hashmat Shadab Malik, Muzammal Naseer, Salman Khan,
• Abstract要約: マルチモーダル大規模言語モデル (MLLM) は視覚言語タスクにおいて高い性能を達成する。 しかし、視覚エンコーダ(例えばCLIP)を通じて視覚入力を組み込むと、攻撃面が大幅に拡大する。 本研究はMLLMの対向的堅牢性に関する系統的研究である。
• 参考スコア（独自算出の注目度）: 37.24612885977265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal Large Language Models (MLLMs) achieve strong performance on vision-language tasks, but incorporating visual inputs through a vision encoder (e.g., CLIP) substantially expands the attack surface, making these models vulnerable to visual adversarial perturbations. Prior defenses typically preserve compatibility with pretrained MLLMs by enforcing strict alignment to CLIP's original embedding space during adversarial fine-tuning; while practical, this constraint fundamentally limits achievable robustness. We present a systematic investigation of adversarial robustness in MLLMs. We first introduce a diagnostic CLIP-alignment protocol that predicts, prior to full MLLM training, which robust vision encoders will transfer effectively to the multimodal setting, revealing that large-scale multimodal adversarial pretraining, rather than unimodal scale alone, is the critical factor for strong robustness transfer. Integrating such encoders into MLLMs via end-to-end multimodal training yields average gains of 28 CIDEr points on captioning and 11.7% VQA accuracy under strong adversarial attacks compared to constrained plug-and-play baselines. We further show that adversarial training applied directly to a standard non-robust MLLM degrades both clean and adversarial performance, establishing robust visual representations as a strict prerequisite, while end-to-end adversarial training from a robust backbone delivers additional gains of 1.9 CIDEr points and 4.3% VQA accuracy. Beyond training-time defenses, lightweight test-time visual stochastic transformations serve as an effective black-box defense for non-robust MLLMs, elevating adversarial performance from near-zero to levels comparable with robust models. Finally, we show that our robust models substantially reduce toxic generation under white-box visual jailbreak attacks. Code and pretrained weights will be released publicly.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて強力なパフォーマンスを実現するが、視覚エンコーダ(例えばCLIP)による視覚入力を組み込むことで、攻撃面を大幅に拡大し、これらのモデルは視覚的対向的摂動に対して脆弱となる。 従来の防御は、敵の微調整中にCLIPの元々の埋め込み空間に厳格に整合させることによって、事前訓練されたMLLMとの互換性を保っている。 本研究はMLLMの対向的堅牢性に関する系統的研究である。 まず、MLLMトレーニングに先立って、ロバストな視覚エンコーダがマルチモーダル設定に効果的に移行する診断的CLIPアライメントプロトコルを導入する。 このようなエンコーダをエンドツーエンドのマルチモーダルトレーニングでMLLMに統合すると、制限されたプラグアンドプレイベースラインと比較して、キャプション上の28のCIDErポイントと11.7%のVQA精度で平均ゲインが得られる。 さらに、標準的な非ローバストMLLMに直接適用された対人訓練は、クリーンかつ対人的な性能を低下させ、堅牢な視覚表現を厳格な前提条件として確立し、ロバストなバックボーンからのエンドツーエンドの対人訓練は、1.9のCIDErポイントと4.3%のVQA精度を付加することを示した。 訓練時防御以外にも、軽量なテスト時視覚確率変換は、非ローバートMLLMの効果的なブラックボックス防御として機能し、ほぼゼロからロバストモデルに匹敵するレベルまで敵のパフォーマンスを高めている。 最後に、我々のロバストモデルにより、ホワイトボックスの視覚的ジェイルブレイク攻撃による毒性の発生が著しく減少することを示す。 コードと事前訓練されたウェイトは公開されます。

関連論文リスト

• To Deceive is to Teach? Forging Perceptual Robustness via Adversarial Reinforcement Learning [6.973386095391195]
  我々は、MLLMの堅牢性を鍛え、独自のトレーニングデータを作成するセルフプレイフレームワークである textbfAOT (Adversarial Opponent Training) を導入する。 本手法は,画像編集アタッカーとデフェンダーMLLMの共進化を編成し,攻撃者が画像操作の多様かつダイナミックなカリキュラムを生成し,デフェンダーに適応と改善を強制する。
  論文  参考訳（メタデータ） (2026-01-24T03:47:29Z)
• Adversarial Training for Multimodal Large Language Models against Jailbreak Attacks [17.75247947379804]
  MLLM訓練期間中のジェイルブレイク攻撃に対する防御を目的とした,最初の対人訓練パラダイムを提示する。 エンド・ツー・エンドのATフレームワークであるProEAT(Projection Layer Against Adversarial Training)を紹介する。 ProEATは最先端の防御性能を達成し、テキストと画像のモダリティの平均マージン+34%で既存のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-03-05T14:13:35Z)
• Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models [26.656858396343726]
  MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて優れているが、視覚的逆境の摂動に弱いままである。 既存の手法では、ImageNet-scaleデータ上でCLIPビジョンエンコーダに制約付き逆調整を適用することにより、これらのリスクを軽減する方法が提案されている。 本稿では,大規模データに対して逆向きに事前学習された既存の視覚分類モデルを活用する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:59:45Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• On Evaluating Adversarial Robustness of Large Vision-Language Models [64.66104342002882]
  大規模視覚言語モデル(VLM)のロバスト性を,最も現実的で高リスクな環境で評価する。 特に,CLIP や BLIP などの事前学習モデルに対して,まず攻撃対象のサンプルを作成する。 これらのVLM上のブラックボックスクエリは、ターゲットの回避の効果をさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-26T13:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。