論文の概要: MIRROR: Learning from the Other View for Multi-Modal Reasoning

• arxiv url: http://arxiv.org/abs/2607.21552v1
• Date: Thu, 23 Jul 2026 17:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.504055
• Title: MIRROR: Learning from the Other View for Multi-Modal Reasoning
• Title（参考訳）: MIRROR:マルチモーダル推論のための他視点からの学習
• Abstract要約: 視覚言語モデル(VLM)は、同等のテキスト、図形、組み合わせた図形+テキストビューを含む幾何学的問題であっても、視覚的推論に苦しむことを示す。 自己監督によるマルチモーダル推論を改善するための強化学習手法であるMIRROR(Modality-Informed Reciprocal Reasoning Optimization)を開発した。
• 参考スコア（独自算出の注目度）: 37.5348148058537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unlike large language models (LLMs) that exhibit strong reasoning capabilities, vision-language models (VLMs) struggle with visual reasoning, even on geometry problems that admit equivalent text, diagram, and combined diagram+text views. We show that these views often elicit different behaviors: a model may solve a problem from text but fail on the corresponding diagram, or succeed visually while failing textually. This inconsistency suggests that different views expose complementary reasoning paths and failure modes that standard multimodal post-training does not fully exploit. To study and exploit this phenomenon, we construct ODA-Data, a high-quality paired multimodal geometry dataset with text-dominant, image-dominant, and combined image+text views of the same problems, together with splits for training and evaluating modality-dependent reasoning behaviors. We then develop Modality-Informed Reciprocal Reasoning Optimization (MIRROR), a reinforcement learning approach for improving multimodal reasoning via self supervision. For each problem, MIRROR evaluates the model under all views, selects the best-performing view as a teacher, and trains other views with a reverse-KL objective towards the teacher. Across reasoning benchmarks that evaluate on geometry problems, MIRROR improves over standard RL and yields more accurate and consistent behavior across modalities
• Abstract（参考訳）: 強力な推論能力を示す大きな言語モデル(LLM)とは異なり、視覚言語モデル(VLM)は、同等のテキスト、図形、複合図形+テキストビューを含む幾何学的問題でも視覚的推論に苦戦する。 モデルはテキストから問題を解くが、対応するダイアグラムで失敗するか、あるいはテキストで失敗しながら視覚的に成功する。 この矛盾は、標準的なマルチモーダルポストトレーニングでは十分に活用できない相補的推論パスと障害モードが、異なるビューで表されていることを示唆している。 この現象を研究・活用するために,Oda-Dataという,テキスト優位,画像優位,画像+テキストビューを組み合わせた高品質なマルチモーダル・ジオメトリ・データセットを構築し,モダリティに依存した推論行動のトレーニングと評価を行う。 次に、自己監督によるマルチモーダル推論を改善するための強化学習手法であるMIRROR(Modality-Informed Reciprocal Reasoning Optimization)を開発した。 各問題に対して、MIRRORは、すべてのビューでモデルを評価し、教師として最高のパフォーマンスのビューを選択し、教師に対して逆KLの目標で他のビューを訓練する。 幾何学的問題を評価する推論ベンチマーク全体において、MIRRORは標準RLよりも改善し、モーダル性を越えてより正確で一貫した振る舞いをもたらす

関連論文リスト

• Can Unified Generation and Understanding Models Maintain Semantic Equivalence Across Different Output Modalities? [61.533560295383786]
  Unified Multimodal Large Language Models (U-MLLM) は、単一のアーキテクチャ内で理解と生成を統合する。 我々は,U-MLLMが画像のモダリティにおいて同じ結果をレンダリングするために必要な場合,意味的等価性を維持することができないことを観察する。 VGUBenchは、推論ロジックを生成の忠実性から切り離すためのフレームワークである。
  論文  参考訳（メタデータ） (2026-02-27T06:23:56Z)
• MentisOculi: Revealing the Limits of Reasoning with Mental Imagery [63.285794947638614]
  視覚的解決が可能な多段階推論問題の組である MentisOculi を開発した。 遅延トークンから明示的な生成画像まで,視覚的戦略を評価すると,一般的にはパフォーマンス向上に失敗する。 以上の結果から,視覚的思考がモデル推論の恩恵を受けていないことが示唆された。
  論文  参考訳（メタデータ） (2026-02-02T18:49:06Z)
• AMVICC: A Novel Benchmark for Cross-Modal Failure Mode Profiling for VLMs and IGMs [2.357397994148727]
  マルチモーダル大言語モデル (MLLM) と画像生成モデル (IGM) について検討した。 我々は、画像からテキストまでのタスクとテキストから画像までのタスクの障害モードを比較するための新しいベンチマークを作成しました。 この結果から,障害モードはモデルとモダリティの間で共有されることが多いが,特定の障害はモデル固有かつモダリティ固有であることがわかった。
  論文  参考訳（メタデータ） (2026-01-20T00:06:58Z)
• When Visualizing is the First Step to Reasoning: MIRA, a Benchmark for Visual Chain-of-Thought [118.71264263478083]
  MIRAは,中間画像の生成が推論の成功に不可欠であるシナリオにおいて,モデルを評価するために設計された新しいベンチマークである。 546のマルチモーダル問題を含み、中間画像と最終回答が注釈付きである。
  論文  参考訳（メタデータ） (2025-11-04T18:00:51Z)
• Zebra-CoT: A Dataset for Interleaved Vision Language Reasoning [109.84783476090028]
  我々は182,384サンプルの多種多様な大規模データセットであるtextbfZebra-CoT$を紹介した。 スケッチや視覚的推論が特に自然なタスクの4つのカテゴリに注目します。 微調整されたベーゲル7Bは高品質な視覚的推論連鎖を生成するモデルを生成する。
  論文  参考訳（メタデータ） (2025-07-22T16:35:36Z)
• MiCo: Multi-image Contrast for Reinforcement Visual Reasoning [72.81576836419373]
  CoT(Chain-of-Thought)推論は、複数の画像に視覚的手がかりをリンクするために使用することができる。 視覚言語モデル(VLM)の規則に基づく強化学習に適応する 提案手法は,マルチイメージ推論ベンチマークにおいて大幅な改善を実現し,汎用視覚タスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2025-06-27T17:59:27Z)
• VisioMath: Benchmarking Figure-based Mathematical Reasoning in LMMs [31.007061220012954]
  1,800 の高品質 K-12 数学問題のキュレートされたベンチマークである groundingMath は、すべての候補解が微妙な視覚的類似性を持つダイアグラムである。 最先端のオープンソースシステムと広く採用されているオープンソースモデルの両方をカバーする、最先端のLMMの包括的な評価は、画像間の類似性が増大するにつれて、一貫した精度の低下を示す。 トレーニングなしアプローチと微調整の3つのアライメント指向戦略について検討し,精度の向上を図る。
  論文  参考訳（メタデータ） (2025-06-07T09:24:13Z)
• R1-Onevision: Advancing Generalized Multimodal Reasoning through Cross-Modal Formalization [26.757458496178437]
  視覚知覚と深い推論のギャップを埋めるために設計されたマルチモーダル推論モデルであるR1-Onevisionを紹介する。 我々はR1-Onevisionデータセットを構築し、多様なドメインにまたがる詳細かつステップバイステップのマルチモーダル推論アノテーションを提供する。 先進的推論を育成するために,教師付き微調整と強化学習によりR1-Onevisionモデルをさらに発展させる。 実験結果から,R1-OnevisionはGPT-4oやQwen2.5-VLなど,最先端のモデルよりも優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-03-13T17:56:05Z)
• The Role of Visual Modality in Multimodal Mathematical Reasoning: Challenges and Insights [26.85150689408895]
  既存のマルチモーダルな数学的モデルでは視覚情報を最小限に活用できることを示す。 これは、意図せずモデルに回答を誘導するテキスト情報と回答オプションの優位性に起因している。 先行モデルをテストする際、微妙な視覚的差異を検知できないことは、現在の視覚知覚能力の限界を示唆している。
  論文  参考訳（メタデータ） (2025-03-06T07:29:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。