論文の概要: Reasoning Within the Mind: Dynamic Multimodal Interleaving in Latent Space

• arxiv url: http://arxiv.org/abs/2512.12623v1
• Date: Sun, 14 Dec 2025 10:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.351014
• Title: Reasoning Within the Mind: Dynamic Multimodal Interleaving in Latent Space
• Title（参考訳）: 心の中の推論:潜在空間における動的マルチモーダルインターリービング
• Authors: Chengzhi Liu, Yuzhe Yang, Yue Fan, Qingyue Wei, Sheng Liu, Xin Eric Wang,
• Abstract要約: テスト時間動的マルチモーダル遅延推論フレームワークを提案する。 信頼誘導の潜在ポリシー勾配最適化を、詳細な推論のために潜在シンクトークンに採用する。 7つのマルチモーダル推論ベンチマークと様々なモデルアーキテクチャによる実験により、DMLRは推論性能と知覚性能を大幅に改善することが示された。
• 参考スコア（独自算出の注目度）: 46.05748768260013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Multimodal Large Language Models (MLLMs) have significantly enhanced cross-modal understanding and reasoning by incorporating Chain-of-Thought (CoT) reasoning in the semantic space. Building upon this, recent studies extend the CoT mechanism to the visual modality, enabling models to integrate visual information during reasoning through external tools or explicit image generation. However, these methods remain dependent on explicit step-by-step reasoning, unstable perception-reasoning interaction and notable computational overhead. Inspired by human cognition, we posit that thinking unfolds not linearly but through the dynamic interleaving of reasoning and perception within the mind. Motivated by this perspective, we propose DMLR, a test-time Dynamic Multimodal Latent Reasoning framework that employs confidence-guided latent policy gradient optimization to refine latent think tokens for in-depth reasoning. Furthermore, a Dynamic Visual Injection Strategy is introduced, which retrieves the most relevant visual features at each latent think token and updates the set of best visual patches. The updated patches are then injected into latent think token to achieve dynamic visual-textual interleaving. Experiments across seven multimodal reasoning benchmarks and various model architectures demonstrate that DMLR significantly improves reasoning and perception performance while maintaining high inference efficiency.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の最近の進歩は、意味空間にChain-of-Thought(CoT)推論を組み込むことによって、クロスモーダル理解と推論を大幅に強化している。 これに基づいて、最近の研究では、CoTメカニズムを視覚的モダリティに拡張し、モデルが外部ツールや明示的な画像生成を通じて推論中に視覚情報を統合できるようにする。 しかし、これらの手法は、明示的なステップバイステップの推論、不安定な知覚推論相互作用、顕著な計算オーバーヘッドに依存している。 人間の認知に触発されて、思考は線形ではなく、心の中の推論と知覚の動的インターリーブによって展開されると仮定する。 DMLRは,信頼誘導型遅延ポリシー勾配最適化を用いて,奥行き推論のための遅延シンクトークンを改良する動的マルチモーダル遅延推論フレームワークである。 さらに、動的ビジュアルインジェクション戦略(Dynamic Visual Injection Strategy)が導入され、遅延したシンクトークン毎に最も関連性の高いビジュアル機能を取得し、最高のビジュアルパッチセットを更新する。 更新されたパッチは遅延シンクトークンに注入され、動的ビジュアルテキストインターリーブを実現する。 7つのマルチモーダル推論ベンチマークと様々なモデルアーキテクチャによる実験により、DMLRは推論効率を高く保ちながら、推論と知覚性能を著しく改善することが示された。

関連論文リスト

• Interleaved Latent Visual Reasoning with Selective Perceptual Modeling [42.93438443502933]
  インターリーブ推論パラダイムは視覚フィードバックでマルチモーダル大言語モデル(MLLM)を強化するが、計算コストの禁止によって妨げられる。 有望な代替手段である、潜伏した視覚的推論は、このボトルネックを回避しますが、現在、重要なトレードオフを強制しています。 IVR(Interleaved Latent Visual Reasoning)は、動的状態の進化を正確に知覚モデリングと統合するフレームワークである。
  論文  参考訳（メタデータ） (2025-12-05T12:09:39Z)
• Monet: Reasoning in Latent Visual Space Beyond Images and Language [55.424507246294326]
  視覚的推論を推し進める上で有効なパラダイムとして「画像で考える」が登場している。 既存の方法は、人間のような抽象的な視覚的思考に欠ける。 Monetは、マルチモーダルな大規模言語モデルを潜在視覚空間内で直接推論できるトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-11-26T13:46:39Z)
• ThinkMorph: Emergent Properties in Multimodal Interleaved Chain-of-Thought Reasoning [76.95203056566191]
  マルチモーダル推論は言語と視覚の反復的調整を必要とするが、何が意味あるインターリーブド思考の連鎖を構成するかは定かではない。 我々はThinkMorphを開発した。ThinkMorphは、視覚的エンゲージメントの異なるタスクにまたがる、約24Kの高品質なインターリーブ付き推論トレースに基づいて微調整された統一モデルだ。 ThinkMorphは、一貫性のある言語論理を維持しながら、視覚的コンテンツを具体的に操作する、プログレッシブなテキストイメージ推論ステップを生成することを学ぶ。
  論文  参考訳（メタデータ） (2025-10-30T17:51:38Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。