論文の概要: To Deceive is to Teach? Forging Perceptual Robustness via Adversarial Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2602.22227v1
- Date: Sat, 24 Jan 2026 03:47:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 07:21:25.693796
- Title: To Deceive is to Teach? Forging Perceptual Robustness via Adversarial Reinforcement Learning
- Title（参考訳）: 対人強化学習を通した知覚ロバストネスの鍛造
- Authors: Yicheng Bao, Xuhong Wang, Xin Tan,
- Abstract要約: 我々は、MLLMの堅牢性を鍛え、独自のトレーニングデータを作成するセルフプレイフレームワークである textbfAOT (Adversarial Opponent Training) を導入する。
本手法は,画像編集アタッカーとデフェンダーMLLMの共進化を編成し,攻撃者が画像操作の多様かつダイナミックなカリキュラムを生成し,デフェンダーに適応と改善を強制する。
- 参考スコア（独自算出の注目度）: 6.973386095391195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their impressive capabilities, Multimodal Large Language Models (MLLMs) exhibit perceptual fragility when confronted with visually complex scenes. This weakness stems from a reliance on finite training datasets, which are prohibitively expensive to scale and impose a ceiling on model robustness. We introduce \textbf{AOT-SFT}, a large-scale adversarial dataset for bootstrapping MLLM robustness. Building on this, we propose \textbf{AOT (Adversarial Opponent Training)}, a self-play framework that forges MLLM robustness by creating its own training data. Our method orchestrates a co-evolution between an image-editing Attacker and a Defender MLLM, where the Attacker generates a diverse and dynamic curriculum of image manipulations, forcing the Defender to adapt and improve. Extensive experiments demonstrate that AOT enhances the Defender's perceptual robustness and reduces hallucinations, establishing a scalable paradigm for training more reliable MLLMs.
- Abstract（参考訳）: 印象的な能力にもかかわらず、MLLM(Multimodal Large Language Models)は視覚的に複雑なシーンに直面した場合に知覚上の脆弱さを示す。
この弱点は、有限のトレーニングデータセットに依存することから来ており、スケールし、モデルロバスト性に天井を置くのが違法に高価である。
MLLMロバストネスをブートストラップするための大規模逆数データセットである \textbf{AOT-SFT} を紹介する。
そこで我々は,MLLMのロバスト性を鍛え,独自のトレーニングデータを作成するセルフプレイフレームワークである「textbf{AOT(Adversarial Opponent Training)」を提案する。
本手法は,画像編集アタッカーとデフェンダーMLLMの共進化を編成し,攻撃者が画像操作の多様かつダイナミックなカリキュラムを生成し,デフェンダーに適応と改善を強制する。
大規模な実験により、AOTはディフェンダーの知覚的堅牢性を高め、幻覚を減らすことを示し、より信頼性の高いMLLMをトレーニングするためのスケーラブルなパラダイムを確立した。
関連論文リスト
- From Insight to Exploit: Leveraging LLM Collaboration for Adaptive Adversarial Text Generation [3.75886080255807]
動的かつ適応的な敵の例を生成するために設計された2つの革新的な攻撃フレームワークを導入する。
我々は、原文と意味的類似性を保持する微妙で自然な逆入力を生成する。
我々の攻撃はLSMの進歩とともに進化し、攻撃者には未知の強い伝達性を示す。
論文 参考訳（メタデータ） (2025-11-05T02:27:56Z) - Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。
私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。
Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
論文 参考訳（メタデータ） (2025-06-04T01:23:35Z) - Adversarial Training for Multimodal Large Language Models against Jailbreak Attacks [17.75247947379804]
MLLM訓練期間中のジェイルブレイク攻撃に対する防御を目的とした,最初の対人訓練パラダイムを提示する。
エンド・ツー・エンドのATフレームワークであるProEAT(Projection Layer Against Adversarial Training)を紹介する。
ProEATは最先端の防御性能を達成し、テキストと画像のモダリティの平均マージン+34%で既存のベースラインを上回っている。
論文 参考訳（メタデータ） (2025-03-05T14:13:35Z) - Robust-LLaVA: On the Effectiveness of Large-Scale Robust Image Encoders for Multi-modal Large Language Models [26.656858396343726]
MLLM(Multi-modal Large Language Models)は、視覚言語タスクにおいて優れているが、視覚的逆境の摂動に弱いままである。
既存の手法では、ImageNet-scaleデータ上でCLIPビジョンエンコーダに制約付き逆調整を適用することにより、これらのリスクを軽減する方法が提案されている。
本稿では,大規模データに対して逆向きに事前学習された既存の視覚分類モデルを活用する方法を提案する。
論文 参考訳（メタデータ） (2025-02-03T17:59:45Z) - TWIST & SCOUT: Grounding Multimodal LLM-Experts by Forget-Free Tuning [54.033346088090674]
TWIST と SCOUT は,事前学習したMLLM に視覚的接地能力を持たせるフレームワークである。
モデルを効果的に微調整するために,SCOUTと呼ばれる高品質な合成データセットを生成する。
このデータセットは、ステップバイステップのマルチモーダル推論プロセスを記述する、豊富な監視信号を提供する。
論文 参考訳（メタデータ） (2024-10-14T13:35:47Z) - MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。
MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
論文 参考訳（メタデータ） (2024-08-07T02:28:37Z) - Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。
復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
論文 参考訳（メタデータ） (2023-12-05T07:29:14Z) - Beyond Pretrained Features: Noisy Image Modeling Provides Adversarial
Defense [52.66971714830943]
マスク付き画像モデリング(MIM)は、自己教師付き視覚表現学習のフレームワークとして普及している。
本稿では,この強力な自己教師型学習パラダイムが,下流の分類器に対して対角的ロバスト性を提供する方法について検討する。
本稿では,デノナイジングのためのデコーダを用いて,デノナイジングのための対角防御手法を提案する。
論文 参考訳（メタデータ） (2023-02-02T12:37:24Z) - FAT: Federated Adversarial Training [5.287156503763459]
フェデレートラーニング(FL)は、機械学習(ML)におけるプライバシとデータガバナンスの問題に対処する最も重要なパラダイムの1つである。
我々は、トレーニング中のデータのプライバシを保ちながら、推論中の回避の脅威を軽減するために、両方の手法を組み合わせて、連合敵訓練(FAT)への第一歩を踏み出した。
論文 参考訳（メタデータ） (2020-12-03T09:47:47Z) - Stylized Adversarial Defense [105.88250594033053]
逆行訓練は摂動パターンを生成し、モデルを堅牢化するためのトレーニングセットにそれらを含む。
我々は、より強力な敵を作るために、機能空間から追加情報を活用することを提案する。
我々の対人訓練アプローチは、最先端の防御と比べて強い堅牢性を示している。
論文 参考訳（メタデータ） (2020-07-29T08:38:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。