論文の概要: MIRA: Reinforcing Multimodal Reasoning via Deceptive Contextual Augmentation
- arxiv url: http://arxiv.org/abs/2611.03087v1
- Date: Mon, 02 Nov 2026 13:09:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 13:28:38.029968
- Title: MIRA: Reinforcing Multimodal Reasoning via Deceptive Contextual Augmentation
- Title(参考訳): MIRA: 知覚的文脈拡張によるマルチモーダル推論の強化
- Abstract要約: 誤った視覚的コンテキストに対するロバスト性を改善するためのトレーニングフレームワークであるMIRAを提案する。
我々は、誤った情報に対するモデルの堅牢性をストレステストする挑戦的な「ハードトラップ」を構築します。
本稿では,視覚的手がかりと論理的制約との間の不整合を自律的に補正するグループワイド・リフレクション・トリガ機構を提案する。
- 参考スコア(独自算出の注目度): 29.6635114995465
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Reinforcement Learning with Verifiable Rewards (RLVR) has significantly advanced multimodal reasoning, existing frameworks suffer from a critical "perception-reasoning gap." Due to an over-reliance on seemingly relevant visual tokens, even minor perceptual perturbations can propagate through the reasoning process, leading to compounding hallucinations. To address this issue, we propose MIRA, a training framework that improves robustness to erroneous visual contexts while enhancing logical reasoning ability. By injecting filtered, deceptive visual contexts during training, we construct challenging "hard traps" that stress-test the model's robustness to misleading information. Furthermore, we introduce a group-wise reflection-triggering mechanism that enables the model to autonomously detect and rectify inconsistencies between visual cues and logical constraints, which is ultimately internalized as an intrinsic policy behavior. Importantly, MIRA does not rely on human annotations. Experimental results across multiple reasoning and perception benchmarks show that MIRA yields an average 7% improvement on in-domain benchmarks, with consistent improvements on vision-centric benchmarks. These findings highlight that active error recovery is essential for robust multimodal reasoning. Comprehensive ablation studies and analyses further provide insights into why MIRA is effective.
- Abstract(参考訳): Reinforcement Learning with Verifiable Rewards (RLVR) は、非常に高度なマルチモーダル推論を持っているが、既存のフレームワークは「知覚推論のギャップ」に悩まされている。
一見関連性のある視覚的トークンへの過度な依存のため、小さな知覚的摂動でさえ推論過程を通じて伝播し、幻覚を複雑化する。
この問題に対処するために,論理的推論能力を高めつつ,誤った視覚的コンテキストに対する堅牢性を向上させるトレーニングフレームワークであるMIRAを提案する。
トレーニング中にフィルタリングされた偽装的な視覚的コンテキストを注入することにより、モデルの堅牢性や誤解を招く情報をストレステストする、挑戦的な"ハードトラップ"を構築します。
さらに,グループワイド・リフレクション・トリガリング機構を導入し,視覚的手がかりと論理的制約の不整合を自律的に検出・修正し,最終的には本質的な政策行動として内部化する。
重要なのは、MIRAは人間のアノテーションに依存しないことです。
複数の推論と知覚のベンチマークによる実験結果から、MIRAは平均7%のドメイン内ベンチマークの改善をもたらし、ビジョン中心のベンチマークは一貫して改善されている。
これらの結果から,堅牢なマルチモーダル推論には能動的エラー回復が不可欠であることが示唆された。
包括的アブレーション研究と分析は、さらにMIRAが有効である理由についての洞察を与える。
関連論文リスト
- Uncovering Shortcut Amplification in Video RLVR through the Lens of Perceptual Uncertainty Collapse [58.43146242346935]
検証可能な報酬付き強化学習(RLVR)は、LMM(Large Multimodal Models)のビデオ推論能力を高めるための効果的な訓練後パラダイムとして登場した。
結果レベルの最適化は望ましくないショートカット増幅効果を導入できることを示す。
本稿では,2つの相補的な分布信号でポリシー更新を制御する自己蒸留フレームワークであるBifocal Self-distillation Policy Optimization (BSPO)を提案する。
論文 参考訳(メタデータ) (2026-10-27T13:26:13Z) - CORA: Analyzing and bridging thinking-answer gap in Multimodal RLVR via Consistency-Oriented Reasoning Alignment [32.29376299423774]
検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論能力を引き出すことに成功した。
既存の手法は主に、推論の痕跡の視覚的カバレッジの改善と視覚幻覚の緩和に重点を置いているが、推論プロセスと最終的な答えのセマンティックな矛盾を過小評価している。
本稿では,簡易なプラグアンドプレイ整合性報酬モデルを用いて,RLVRに思考・問合せのセマンティック一貫性を導入するConsistency-Oriented Reasoning Alignment (CORA)を提案する。
論文 参考訳(メタデータ) (2026-06-12T17:54:59Z) - MuPHI: Learning Implicit Multimodal Harm Reasoning via Semantically Grounded Reward Optimization [14.713115117792503]
我々は、画像テキストペアを含むデータセットであるMultimodal Pragmatic Harm Interpretation (MuPHI)を導入し、害を微妙なマルチモーダルキューで符号化する。
MuPHIRMはマルチパースペクティブ報酬を最適化することで共同意味学を学習する推論強化トレーニングフレームワークである。
この結果から,推論指向報酬最適化は,ベンチマーク固有のショートカットを超えて一般化したマルチモーダルシステムを構築する上で,有望な方向性を示すことが示唆された。
論文 参考訳(メタデータ) (2026-05-28T13:58:15Z) - Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。
因果推論において,ビデオコンテンツは体系的に過小評価されている。
教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
論文 参考訳(メタデータ) (2026-05-10T08:48:58Z) - Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。
結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。
マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
論文 参考訳(メタデータ) (2026-04-08T07:48:07Z) - Beyond Where to Look: Trajectory-Guided Reinforcement Learning for Multimodal RLVR [30.94808389410323]
Trajectory-Guided Reinforcement Learningは、視覚的証拠をきめ細かな推論プロセスに統合するためのポリシーモデルを導く。
複数のマルチモーダル推論ベンチマークの実験は、TGRLが一貫して推論性能を改善することを示した。
論文 参考訳(メタデータ) (2026-03-27T07:18:18Z) - Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs [55.61018839017648]
CoT(Chain-of- Thought)推論は、複雑な推論タスクにおいて、MLLM(Multimodal large language model)を大幅に改善した。
既存のアプローチは、主に長いテキスト推論軌道に依存し、安定した視覚的注意ポリシーを学ぶための限られたメカニズムを提供する。
地域レベルの視覚的注意に基づく報酬を導入する強化学習フレームワークを用いて訓練された視覚的推論モデルであるSAYOを提案する。
論文 参考訳(メタデータ) (2026-02-09T03:33:23Z) - Adversarial Yet Cooperative: Multi-Perspective Reasoning in Retrieved-Augmented Language Models [72.4149653187766]
本稿ではAdrialversa Reasoning RAG(ARR)というReasoner-Verifierフレームワークを提案する。
ReasonerとVerifierは、回収された証拠を推論し、プロセス認識の利点によってガイドされながら、互いの論理を批判する。
複数のベンチマーク実験により,本手法の有効性が示された。
論文 参考訳(メタデータ) (2026-01-08T06:57:03Z) - Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。
本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。
その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文 参考訳(メタデータ) (2026-01-07T16:39:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。