論文の概要: Mental Imagery That Matters: Curing Latent Collapse in Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2611.10423v1
- Date: Sat, 07 Nov 2026 02:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 09:45:37.682892
- Title: Mental Imagery That Matters: Curing Latent Collapse in Multimodal Reasoning
- Title(参考訳): マルチモーダル推論における潜在的崩壊のキュレーション
- Abstract要約: 心的シミュレーションは、内部の視覚状態の構築と更新によって推論する能力であり、柔軟性のある人間の認知の中心である。
潜在マルチモーダル推論は、連続的な視覚的潜在ブロックでテキストをインターリーブすることで、この機能への有望な経路を提供する。
生成した視覚的潜伏剤の落下、置換、シャッフルは、モデル自身の最終回答確率にわずかにしか影響しないことを示す。
AnchorSimは、モデルを訓練して生成した視覚的潜伏剤を連続的に生成する、対照的な蒸留フレームワークである。
- 参考スコア(独自算出の注目度): 64.08869813786629
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mental simulation, the ability to reason by constructing and updating internal visual states, is central to flexible human cognition, but remains elusive in current multimodal large language models. Latent multimodal reasoning offers a promising route toward this capability by interleaving text with continuous visual latent blocks, allowing models to maintain internal visual workspaces without decoding them into pixels. In this paper, we ask whether these latent visual states actually matter. Through a direct perturbation analysis across representative latent-reasoning MLLMs, we find that they often do not: dropping, replacing, or shuffling generated visual latents has only minor effects on the model's own final-answer probability, while equivalent perturbations to the linguistic reasoning trace are substantially more damaging. We call this failure mode Mental Simulation Collapse (MSC): the model appears to perform interleaved visual reasoning, but routes most answer-relevant computation through text. We further diagnose that MSC follows naturally from existing training objectives: visual alignment can make generated latents resemble helper-image embeddings, but it does not require the decoder to rely on them; subsequent text-only supervision further leaves the semantic role of the latent pathway unidentifiable. To address this, we introduce AnchorSim (Anchored Mental Simulation), a contrastive distillation framework that trains models to make their generated visual latents consequential. Across multiple visual reasoning benchmarks, AnchorSim improves performance, while diagnostic re-evaluation shows that visual perturbations now meaningfully affect predictions. Our results expose a fundamental failure mode of latent multimodal reasoning and demonstrate that mental simulation must be anchored to model behavior in order to matter.
- Abstract(参考訳): 内部の視覚状態の構築と更新による推論能力であるメンタルシュミレーションは、柔軟な人間の認知の中心であるが、現在のマルチモーダルな大言語モデルではいまだ解明されていない。
潜在マルチモーダル推論は、テキストを連続的な視覚的潜在ブロックでインターリーブすることで、モデルをピクセルに分解することなく内部の視覚ワークスペースを維持することによって、この機能への有望な経路を提供する。
本稿では、これらの潜伏した視覚状態が実際に重要であるかどうかを問う。
代表的な潜伏型MLLM間の直接摂動解析により、しばしばそれらができないことが判明した: 生成された視覚潜伏剤の落下、置換、シャッフルは、モデル自身の最終回答確率に小さな影響しか与えず、言語的推論の痕跡に対する等価な摂動は、かなり損傷を受けている。
我々はこの失敗モードをメンタル・シミュレーション・コラプス (Mental Simulation Collapse, MSC) と呼ぶ。
視覚的アライメントはヘルパーイメージの埋め込みと似ているが、デコーダはそれらに依存する必要はない。
これを解決するために, モデルを用いて生成した視覚的潜伏者を連続的に学習する, 対照的な蒸留フレームワークであるAnchorSim(Anchored Mental Simulation)を紹介した。
複数の視覚的推論ベンチマークを通じて、AnchorSimはパフォーマンスを改善し、診断の再評価は、視覚的摂動が予測に有意に影響を与えていることを示している。
本研究は, 潜在マルチモーダル推論の基本的な失敗モードを明らかにし, 精神シミュレーションが問題となるためには, モデル行動に固定されなければならないことを示す。
関連論文リスト
- Entropogram-guided Visual Realignment Decoding: Capturing the Rhythm of Multimodal Reasoning [20.75192455641412]
エントロピー(Entropy)は、デコードを通してモダリティ情報がどのように統合されているかを反映する構造化信号である。
本稿では,MLLM推論のためのエントロピーを考慮した自己検査フレームワークを提案する。
我々の手法は、推論精度と幻覚の堅牢性において堅牢な改善をもたらす。
論文 参考訳(メタデータ) (2026-11-04T12:15:38Z) - Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。
本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。
言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
論文 参考訳(メタデータ) (2026-06-05T04:16:01Z) - Reflect to Inform: Boosting Multimodal Reasoning via Information-Gain-Driven Verification [55.357038267439684]
Visual Re-Examination (VRE)は、MLLMが視覚的な入力を追加することなく推論中に自律的に視覚的イントロスペクションを実行することができる自己進化型トレーニングフレームワークである。
VREは推論精度と知覚信頼性を継続的に改善し、特にロングチェーン環境では幻覚を著しく低減する。
論文 参考訳(メタデータ) (2026-03-27T12:22:13Z) - Imagination Helps Visual Reasoning, But Not Yet in Latent Space [65.80396132375571]
因果関係分析を用いた潜伏推論の有効性について検討した。
潜在トークンが限られた視覚情報を符号化し、高い類似性を示すことを示す。
CapImagineという簡単な代替案を提案し、テキストを明示的に想像するようにモデルに教える。
論文 参考訳(メタデータ) (2026-02-26T08:56:23Z) - MentisOculi: Revealing the Limits of Reasoning with Mental Imagery [63.285794947638614]
視覚的解決が可能な多段階推論問題の組である MentisOculi を開発した。
遅延トークンから明示的な生成画像まで,視覚的戦略を評価すると,一般的にはパフォーマンス向上に失敗する。
以上の結果から,視覚的思考がモデル推論の恩恵を受けていないことが示唆された。
論文 参考訳(メタデータ) (2026-02-02T18:49:06Z) - Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。
本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。
その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文 参考訳(メタデータ) (2026-01-07T16:39:34Z) - Treble Counterfactual VLMs: A Causal Approach to Hallucination [6.3952983618258665]
VisionLanguage Models (VLM) には、画像キャプション、視覚的質問応答、推論といった高度なマルチモーダルタスクがある。
視覚的文脈やプロンプトと矛盾しない幻覚出力をしばしば生成する。
既存の研究では、幻覚は統計的バイアス、言語優先、偏見のある特徴学習と結びついているが、構造的な因果理解は欠如している。
論文 参考訳(メタデータ) (2025-03-08T11:13:05Z) - Visual Chain of Thought: Bridging Logical Gaps with Multimodal
Infillings [61.04460792203266]
本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。
本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
論文 参考訳(メタデータ) (2023-05-03T17:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。