論文の概要: MM-OPD: Towards One More Bottleneck Between Perception and Reasoning

• arxiv url: http://arxiv.org/abs/2609.32690v1
• Date: Sat, 26 Sep 2026 14:53:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:14:43.5923
• Title: MM-OPD: Towards One More Bottleneck Between Perception and Reasoning
• Title（参考訳）: MM-OPD:パーセプションと推論の間にさらに1つの落とし穴を目指す
• Abstract要約: 最近の大規模言語モデル(MLLM)は、知覚と推論の両方を強化することで視覚的推論を推し進めている。 我々はこの仮定に挑戦する直感的現象を観察し、モデル、疑問、復号化を保ち、イメージをキャプションやコード表現に置き換える。 本稿では,シンボル条件付き行動から画像条件付きポリシーへガイダンスを転送する,シンボル・視覚的修正のためのフレームワークMM-OPDを紹介する。
• 参考スコア（独自算出の注目度）: 51.632342337454226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent multimodal large language models (MLLMs) advance visual reasoning by strengthening both perception and reasoning, implicitly assuming a process that transitions seamlessly from perception to reasoning. However, we observe a counterintuitive phenomenon that challenges this assumption: holding the model, question, and decoding fixed, we replace images with their caption or code representations (symbolic views), which seems to be redundant given the clear image structures, but the performance surprisingly improves by 10.2% to 23.6% across model scales and datasets. We term this performance gap as the Symbolic Visual Gap and then take a closer look at it. Through experiments, we find that although the visual evidence can already appear in the reasoning trace for the image-input model, the symbolic-view-input model shows much higher attention to the correct evidence than the image-input model. This suggests that despite good capabilities from current works in perception and reasoning themselves, another bottleneck exists between perception and reasoning in selecting perceived visual information as appropriate evidence for subsequent reasoning. To handle this bottleneck, since the symbolic view steers attention toward correct evidence and is readily obtained at scale, it provides supervision for evidence selection without manually labeled evidence. Building on this, we introduce MM-OPD, a multimodal on-policy self-distillation framework for symbolic-to-visual correction that transfers guidance from symbolic-conditioned behavior to the image-conditioned policy through residual token-level targets, steering the model toward correct visual evidence. Experiments across benchmarks and model scales show that MM-OPD improves a broad range of multimodal abilities, with gains in visual perception, chart and document understanding, mathematical reasoning, and general VQA.
• Abstract（参考訳）: 最近のマルチモーダル大言語モデル(MLLM)は、知覚と推論の両方を強化し、知覚から推論へシームレスに遷移する過程を暗黙的に仮定することで、視覚的推論を推し進めている。 しかし, モデル, 疑問, 復号化という仮定に疑問を呈する反直観的な現象を観察し, 画像のキャプションやコード表現(記号ビュー)に置き換える。 私たちはこのパフォーマンスギャップをSybolic Visual Gapと呼び、さらに詳しく見ていきます。 実験により,視覚的証拠は画像インプットモデルの推論にすでに現れるが,シンボルビューインプットモデルは画像インプットモデルよりもはるかに高い注意力を示すことがわかった。 これは、現在の知覚と推論における優れた能力にもかかわらず、知覚と推論の間に別のボトルネックが存在し、知覚された視覚情報を選択することは、その後の推論の適切な証拠であることを示している。 このボトルネックに対処するため、記号的視点は正しい証拠に注意を向け、容易に大規模に得られるので、手動で証拠をラベル付けすることなく証拠の選択を監督する。 MM-OPDは,シンボル条件付き行動から,残トークンレベルを目標とした画像条件付きポリシーへのガイダンスを伝達し,正確な視覚的エビデンスに向けてモデルを操る,記号-視覚的修正のためのマルチモーダルな自己蒸留フレームワークである。 ベンチマークやモデルスケールでの実験では、MM-OPDは視覚知覚、チャートと文書理解、数学的推論、一般的なVQAなど、幅広いマルチモーダル能力を改善することが示されている。

関連論文リスト

• Look on Demand: A Cognitive Scheduling Framework for Visual Evidence Acquisition in Multimodal Reasoning [82.86343313807158]
  我々は、視覚的証拠が推論プロセスにどのように、いつ導入されるかが中心的な課題であると主張している。 この知見により,言語モデルが推論プロセスを制御するマルチモーダル推論フレームワークCSMRを提案する。
  論文  参考訳（メタデータ） (2026-05-27T08:43:13Z)
• Seeing the Evidence, Missing the Answer: Tool-Guided Vision-Language Models on Visual Illusions [2.9521041993295607]
  視覚言語モデル(VLM)は、古典的な光学錯視に直面した場合、体系的なバイアスを示す。 モデルトレーニングなしでこの障害モードに対処するツール誘導推論フレームワークを提案する。 我々は3つの経験的観察を報告し、さらなる調査を保証していると信じている。
  論文  参考訳（メタデータ） (2026-03-31T08:35:10Z)
• Improving Visual Reasoning with Iterative Evidence Refinement [41.18410988040976]
  視覚言語モデル(VLM)は、画像の上に推論する能力がますます高まっている。 しかし、堅牢な視覚的推論は、基礎となる視覚的証拠において、しばしば中間的なステップを再定義する必要がある。 本稿では、内部表現による画像証拠の再挿入をモデルに訓練するエンド・ツー・エンドのセルフリビジョン・フレームワークであるSIEVEを提案する。
  論文  参考訳（メタデータ） (2026-03-14T21:08:21Z)
• MM-CoT:A Benchmark for Probing Visual Chain-of-Thought Reasoning in Multimodal Models [49.32415342913976]
  マルチモーダルモデルにおけるCoT推論の視覚的グラウンドリングと論理的コヒーレンスを探索するための診断ベンチマークであるMM-CoTを紹介する。 MM-CoT上での先進的な視覚言語モデルの評価を行い,最も先進的なシステムでさえも苦戦し,生成頻度と真の推論忠実さの相違が明らかとなった。
  論文  参考訳（メタデータ） (2025-12-09T04:13:31Z)
• MiCo: Multi-image Contrast for Reinforcement Visual Reasoning [72.81576836419373]
  CoT(Chain-of-Thought)推論は、複数の画像に視覚的手がかりをリンクするために使用することができる。 視覚言語モデル(VLM)の規則に基づく強化学習に適応する 提案手法は,マルチイメージ推論ベンチマークにおいて大幅な改善を実現し,汎用視覚タスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2025-06-27T17:59:27Z)
• VFaith: Do Large Multimodal Models Really Reason on Seen Images Rather than Previous Memories? [34.7828249918764]
  本稿では,MLLMの視覚的推論能力を評価する最初のベンチマークであるVFaith-Benchを紹介する。 VFaith-Benchは755のエントリを5つの異なるサブセットに分割し、追加の人間ラベルの知覚タスクを含む。
  論文  参考訳（メタデータ） (2025-06-13T08:27:45Z)
• Mitigating Visual Forgetting via Take-along Visual Conditioning for Multi-modal Long CoT Reasoning [53.790502697674754]
  本稿では、画像入力を重要な推論段階に移行する戦略であるTake-Allong Visual Conditioning (TVC)を提案する。 TVCは、推論を通して視覚的なコンポーネントへの注意を維持するのに役立つ。 提案手法は,5つの数学的推論ベンチマークにおいて,最先端の性能を平均で達成する。
  論文  参考訳（メタデータ） (2025-03-17T16:45:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。