論文の概要: Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence

• arxiv url: http://arxiv.org/abs/2609.34563v1
• Date: Mon, 28 Sep 2026 08:16:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:21:07.810737
• Title: Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence
• Title（参考訳）: 潜在的視覚推論の再考 : 視覚的エビデンスにおける潜在的推論
• Abstract要約: 潜時視覚推論(LVR)は、単語のすべての推論ステップを表現するのではなく、連続的潜時トークンでの計算を可能にする。 テキストCoTとは異なり、潜伏推論は直接観察できないため、潜伏トークンが何を学ぶかを監督することは困難である。 本稿では,ReaLVRを提案する。これは,モデル自身の自由走行軌道に対して視覚的エビデンスを監督するものである。
• 参考スコア（独自算出の注目度）: 30.96534006962091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent visual reasoning (LVR) enables multimodal large language models (MLLMs) to perform intermediate computation in continuous latent tokens rather than expressing every reasoning step in words. However, unlike textual CoT, latent reasoning is not directly observable, making it difficult to supervise what latent tokens learn. In this work, we first conduct a thorough analysis of latent-token behavior and identify a latent evidence-credit gap: latent tokens respond only weakly to image perturbations that alter the correct answer. We hypothesize that this issue stems from the lack of explicit supervision during GRPO training. These findings suggest that a final-answer reward provides too little guidance on what visual evidence to preserve or how credit should be assigned across latent tokens. To bridge this gap, we propose ReaLVR, which brings visual-evidence supervision to the model's own free-running latent trajectories. ReaLVR contrasts correct and model-generated wrong answers to determine where stronger supervision is needed, and relevant and mismatched visual evidence to specify what to preserve. Across three model families, ReaLVR consistently outperforms evaluated LVR baselines, achieving the highest five-task average of 63.7% on Qwen2.5-VL-7B. Crucially, we are the first to scale visual reasoning in latent space, showing that our framework continues to deliver robust improvements at frontier model scales up to 235B. Further analyses show more question-sensitive latent-token positions, stronger alignment with relevant visual regions, and greater fixed-context dependence on the most attended latent tokens.
• Abstract（参考訳）: 潜在視覚推論(LVR)は、単語のすべての推論ステップを表現するのではなく、連続的な潜在トークンで中間計算を行うマルチモーダルな大言語モデル(MLLM)を可能にする。 しかし、テキストCoTとは異なり、潜伏推論は直接観察できないため、潜伏トークンが何を学ぶかを監督することは困難である。 本研究は,まず潜伏行動の徹底的な解析を行い,潜伏行動と潜伏行動のギャップを同定する。 この問題は、GRPOトレーニング中に明示的な監督が欠如していることに起因すると仮定する。 これらの結果は、最終回答の報酬は、どの視覚的証拠を保存すべきか、また、潜在トークン間でどのようにクレジットを割り当てるべきかについてのガイダンスが少なすぎることを示唆している。 このギャップを埋めるため、我々はReaLVRを提案する。 ReaLVRは正しい答えとモデル生成の間違った答えを対比して、より強力な監督が必要な場所を決定する。 3つのモデルファミリーの中で、ReaLVRは一貫してLVRベースラインを上回り、Qwen2.5-VL-7Bでは最高63.7%を記録した。 私たちのフレームワークは、フロンティアモデルにおける堅牢な改善を最大235Bにまで拡大し続けています。 さらなる分析では、より質問に敏感な潜在トークンの位置、関連する視覚領域とのアライメントの強化、最も出席している潜在トークンに対する固定コンテキスト依存性の向上が示されている。

関連論文リスト

• What's Holding Back Latent Visual Reasoning? [23.63938540988447]
  近年のモデルでは、連続した潜伏トークンを中間的な視覚的想像力のステップとして活用している。 驚くべきことに、潜在トークンが非形式的ダミートークンに置き換えられたとき、モデル精度は影響を受けない。 我々の実験は、潜伏した視覚的推論を抑える2つの重要な問題を明らかにした。
  論文  参考訳（メタデータ） (2026-05-18T14:14:49Z)
• Self-Consistent Latent Reasoning: Long Latent Sequence Reasoning for Vision-Language Model [56.21523258053447]
  SCOLAR(Self-Consistent LAtent Reasoning)は、1枚のショットで補助的な視覚トークンを生成する軽量なデコンバータを導入している。 SCOLARは許容遅延CoT長を30ドル以上延長し、実世界の推論ベンチマークでオープンソースモデルの間で最先端を実現している。
  論文  参考訳（メタデータ） (2026-05-12T14:13:08Z)
• CoLVR: Enhancing Exploratory Latent Visual Reasoning via Contrastive Optimization [9.696781633987692]
  遅延視覚推論(CoLVR)のためのコントラスト最適化法を提案する。 CoLVRは多様で探索的な表現を、角度に基づく摂動によって導かれる、相対的に対照的な目的によって学習する。 実験により、CoLVRは潜伏表現の探索能力を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2026-05-09T08:47:00Z)
• Visual Latents Know More Than They Say: Unsilencing Latent Reasoning in MLLMs [54.16324124242172]
  連続潜在空間推論は、マルチモーダルモデルに対するテキストチェーンのコンパクトな代替を提供する。 既存の視覚的推論手法では,これまで見過ごされてきた最適化病理を同定する。 パラメータ更新を伴わない推論時間潜時最適化は、視覚潜時における抑止的推論能力を効果的に解き放つことを示す。
  論文  参考訳（メタデータ） (2026-05-04T15:36:12Z)
• Imagination Helps Visual Reasoning, But Not Yet in Latent Space [65.80396132375571]
  因果関係分析を用いた潜伏推論の有効性について検討した。 潜在トークンが限られた視覚情報を符号化し、高い類似性を示すことを示す。 CapImagineという簡単な代替案を提案し、テキストを明示的に想像するようにモデルに教える。
  論文  参考訳（メタデータ） (2026-02-26T08:56:23Z)
• Vision-aligned Latent Reasoning for Multi-modal Large Language Model [82.26044667101011]
  VaLR(Vision-aligned Latent Reasoning)は、思考の連鎖の推論ステップの前に動的に視覚対応の潜在トークンを生成するフレームワークである。 VaLRは、MLLMの中間埋め込みを視覚エンコーダのものと整合させることにより、推論中の視覚的知識の保存を訓練する。
  論文  参考訳（メタデータ） (2026-02-04T12:04:02Z)
• Look As You Think: Unifying Reasoning and Visual Evidence Attribution for Verifiable Document RAG via Reinforcement Learning [55.232400251303794]
  Look As You Think (LAT)は、モデルをトレーニングし、一貫した帰属性を持った検証可能な推論パスを生成するための強化学習フレームワークである。 LATはシングルイメージとマルチイメージの両方でバニラモデルを一貫して改善し、平均ゲインは8.23%、IoU@0.5では47.0%となる。
  論文  参考訳（メタデータ） (2025-11-15T02:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。