論文の概要: Adversarial Training for Multimodal Large Language Models against Jailbreak Attacks

• arxiv url: http://arxiv.org/abs/2503.04833v1
• Date: Wed, 05 Mar 2025 14:13:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:25:22.529255
• Title: Adversarial Training for Multimodal Large Language Models against Jailbreak Attacks
• Title（参考訳）: マルチモーダル大言語モデルのジェイルブレイク攻撃に対する対抗訓練
• Authors: Liming Lu, Shuchao Pang, Siyuan Liang, Haotian Zhu, Xiyu Zeng, Aishan Liu, Yunhuai Liu, Yongbin Zhou,
• Abstract要約: MLLM訓練期間中のジェイルブレイク攻撃に対する防御を目的とした,最初の対人訓練パラダイムを提示する。 エンド・ツー・エンドのATフレームワークであるProEAT(Projection Layer Against Adversarial Training)を紹介する。 ProEATは最先端の防御性能を達成し、テキストと画像のモダリティの平均マージン+34%で既存のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 17.75247947379804
• License:
• Abstract: Multimodal large language models (MLLMs) have made remarkable strides in cross-modal comprehension and generation tasks. However, they remain vulnerable to jailbreak attacks, where crafted perturbations bypass security guardrails and elicit harmful outputs. In this paper, we present the first adversarial training (AT) paradigm tailored to defend against jailbreak attacks during the MLLM training phase. Extending traditional AT to this domain poses two critical challenges: efficiently tuning massive parameters and ensuring robustness against attacks across multiple modalities. To address these challenges, we introduce Projection Layer Against Adversarial Training (ProEAT), an end-to-end AT framework. ProEAT incorporates a projector-based adversarial training architecture that efficiently handles large-scale parameters while maintaining computational feasibility by focusing adversarial training on a lightweight projector layer instead of the entire model; additionally, we design a dynamic weight adjustment mechanism that optimizes the loss function's weight allocation based on task demands, streamlining the tuning process. To enhance defense performance, we propose a joint optimization strategy across visual and textual modalities, ensuring robust resistance to jailbreak attacks originating from either modality. Extensive experiments conducted on five major jailbreak attack methods across three mainstream MLLMs demonstrate the effectiveness of our approach. ProEAT achieves state-of-the-art defense performance, outperforming existing baselines by an average margin of +34% across text and image modalities, while incurring only a 1% reduction in clean accuracy. Furthermore, evaluations on real-world embodied intelligent systems highlight the practical applicability of our framework, paving the way for the development of more secure and reliable multimodal systems.
• Abstract（参考訳）: マルチモーダル大規模言語モデル (MLLM) は, クロスモーダル理解および生成タスクにおいて顕著な進歩を遂げている。 しかし、彼らは依然として脱獄攻撃に弱いままであり、警備用レールをバイパスし、有害な出力を誘導する摂動を製作した。 本稿では,MLLM訓練期間中のジェイルブレイク攻撃に対する防御を目的とした,最初の対人訓練(AT)パラダイムを提案する。 従来のATをこの領域に拡張することは、大量のパラメータを効率的に調整し、複数のモードにわたる攻撃に対して堅牢性を確保するという、2つの重要な課題をもたらす。 これらの課題に対処するため、私たちは、エンドツーエンドATフレームワークであるProEAT(Projection Layer Against Adversarial Training)を紹介します。 ProEATは、モデル全体ではなく軽量プロジェクタ層に対向トレーニングを集中させることにより、計算能力を維持しつつ、大規模パラメータを効率的に処理するプロジェクタベースの対向トレーニングアーキテクチャを取り入れ、また、タスク要求に基づいて損失関数の重み付けを最適化し、チューニングプロセスを合理化する動的重み調整機構を設計する。 防御性能を向上させるため,視覚とテキストの両モードにまたがる共同最適化戦略を提案し,両モードから発生したジェイルブレイク攻撃に対する堅牢な耐性を保証した。 主要な3つのMLLMを対象とした5つの主要なジェイルブレイク攻撃手法による大規模な実験により,本手法の有効性が示された。 ProEATは最先端の防御性能を達成し、テキストと画像のモダリティの平均マージン+34%で既存のベースラインを上回り、クリーンな精度は1%しか低下しない。 さらに、現実世界のインボディード・インテリジェント・システムの評価は、我々のフレームワークの実用性を強調し、よりセキュアで信頼性の高いマルチモーダル・システムを開発するための道を開く。

関連論文リスト

• Adversarial Reasoning at Jailbreaking Time [49.70772424278124]
  テスト時間計算による自動ジェイルブレイクに対する逆推論手法を開発した。 我々のアプローチは、LSMの脆弱性を理解するための新しいパラダイムを導入し、より堅牢で信頼性の高いAIシステムの開発の基礎を築いた。
  論文  参考訳（メタデータ） (2025-02-03T18:59:01Z)
• Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models [26.656858396343726]
  MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて優れているが、視覚的逆境の摂動に弱いままである。 既存の手法では、ImageNet-scaleデータ上でCLIPビジョンエンコーダに制約付き逆調整を適用することにより、これらのリスクを軽減する方法が提案されている。 本稿では,大規模データに対して逆向きに事前学習された既存の視覚分類モデルを活用する方法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T17:59:45Z)
• Towards Robust Multimodal Large Language Models Against Jailbreak Attacks [24.491648943977605]
  本稿では,敵対的雑音を発生させる攻撃ステップとモデル更新ステップとを交互に行うSafeMLLMを紹介する。 攻撃ステップでは、SafeMLLMは新たに提案されたコントラスト埋め込み攻撃(CoE-Attack)を通じて敵の摂動を発生させる。 我々は,SafeMLLMを6つのMLLMと6つのジェイルブレイク法で比較した。
  論文  参考訳（メタデータ） (2025-02-02T03:45:49Z)
• Adversarial Tuning: Defending Against Jailbreak Attacks for LLMs [13.317364896194903]
  本稿では,大規模言語モデルの汎用防衛能力を高めるための2段階の逆調整フレームワークを提案する。 第1段階では,トークンレベルの逆数生成を効率的に行うために,階層型メタユニバーサル逆数学習を導入する。 第2段階では,自動対向プロンプト学習により,意味レベルの対向プロンプトを反復的に洗練する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T15:37:15Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
  大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。 本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。 LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-04-18T15:47:00Z)
• RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
  現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。 本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
  論文  参考訳（メタデータ） (2024-03-19T07:25:02Z)
• Fight Back Against Jailbreaking via Prompt Adversarial Tuning [23.55544992740663]
  大規模言語モデル(LLM)は、ジェイルブレイク攻撃の影響を受けやすい。 本稿では,ユーザプロンプトに付随するプロンプト制御をガードプレフィックスとしてトレーニングする,PAT(Prompt Adversarial Tuning)というアプローチを提案する。 本手法は, グレーボックス攻撃とブラックボックス攻撃の両方に対して有効であり, 先進攻撃の成功率を0%に低下させる。
  論文  参考訳（メタデータ） (2024-02-09T09:09:39Z)
• Mutual-modality Adversarial Attack with Semantic Perturbation [81.66172089175346]
  本稿では,相互モダリティ最適化スキームにおける敵攻撃を生成する新しい手法を提案する。 我々の手法は最先端の攻撃方法より優れており、プラグイン・アンド・プレイ・ソリューションとして容易にデプロイできる。
  論文  参考訳（メタデータ） (2023-12-20T05:06:01Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。