論文の概要: DLWM: Diverse Latent World Models for Efficient Multimodal Reasoning

• arxiv url: http://arxiv.org/abs/2606.15160v1
• Date: Sat, 13 Jun 2026 07:12:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.956387
• Title: DLWM: Diverse Latent World Models for Efficient Multimodal Reasoning
• Title（参考訳）: DLWM:効率的なマルチモーダル推論のための多変量ラテントワールドモデル
• Authors: David Huang, Lianlei Shan,
• Abstract要約: 本稿では,遅延空間推論と強化学習を組み合わせた多モーダル推論フレームワークDLWMを提案する。 まず,連続潜伏空間における多種多様な潜伏世界仮説を構築し,それぞれが視覚入力の可視的解釈を捉えている。 次に、リソース制約のある逐次決定問題として、潜時推論過程を定式化する。
• 参考スコア（独自算出の注目度）: 5.070905256010651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning capabilities of multimodal large language models (MLLMs) have improved considerably in recent years. Existing approaches typically rely on explicit chain-of-thought or continuous latent-space trajectories to enhance multi-step reasoning. However, these methods generally assume that an input admits a single latent interpretation and unfold reasoning along a fixed path or under a uniform computation budget. In real-world multimodal settings, visual observations are often subject to occlusion, blur, viewpoint variation, or semantic ambiguity, giving rise to multiple plausible interpretations. A uniform reasoning strategy not only limits the model's ability to explore multiple hypotheses but also incurs high memory usage and rollout cost. We present DLWM (Diverse Latent World Models), a multimodal reasoning framework that combines latent-space reasoning with reinforcement learning. First, we construct a set of diverse latent world hypotheses in continuous latent space, each capturing a different plausible interpretation of the visual input, and unfold latent reasoning independently on each hypothesis. An orthogonality-based diversity regularizer explicitly prevents hypothesis collapse. Second, we formulate the latent reasoning process as a resource-constrained sequential decision problem and introduce a resource-aware reinforcement learning policy that adaptively allocates computation across hypotheses, dynamically deciding whether to expand, terminate, or merge reasoning paths, thereby substantially reducing memory footprint and improving rollout efficiency. Experiments on multiple multimodal reasoning benchmarks demonstrate that DLWM outperforms existing methods by 2-5 points in accuracy while reducing memory usage by 24%.
• Abstract（参考訳）: 近年,マルチモーダル大言語モデル (MLLM) の推論能力は大幅に向上している。 既存のアプローチは通常、多段階推論を強化するために明示的な連鎖や連続的な潜在空間軌道に依存する。 しかし、これらの手法は一般に、入力が単一の潜在解釈を許容し、固定された経路に沿って、あるいは一様の計算予算の下で推論を展開していると仮定する。 実世界のマルチモーダル環境では、視覚的な観察はしばしば、隠蔽、ぼかし、視点の変化、意味的曖昧さを伴い、複数のもっともらしい解釈をもたらす。 統一推論戦略は、モデルが複数の仮説を探索する能力を制限するだけでなく、高いメモリ使用量とロールアウトコストを発生させる。 本稿では,潜在空間推論と強化学習を組み合わせた多モーダル推論フレームワークDLWMを提案する。 まず、連続潜伏空間における多種多様な潜伏世界仮説を構築し、それぞれ異なる可算的な視覚的入力の解釈を捉え、各仮説に独立して潜伏世界仮説を展開させる。 直交性に基づく多様性正規化器は、仮説の崩壊を明示的に防止する。 第二に、潜伏推論プロセスを資源制約のある逐次決定問題として定式化し、仮説全体にわたる計算を適応的に割り当て、拡張、終了、マージの経路を動的に決定し、メモリフットプリントを大幅に削減し、ロールアウト効率を向上させるリソース対応強化学習ポリシーを導入する。 複数のマルチモーダル推論ベンチマークの実験では、DLWMは既存の手法を2～5ポイント精度で上回り、メモリ使用量を24%削減している。

関連論文リスト

• Walk the Talk: Bridging the Reasoning-Action Gap for Thinking with Images via Multimodal Agentic Policy Optimization [89.68681087743876]
  MLLM(Multimodal Large Language Models)は,マルチターン推論において視覚ツールを積極的に呼び出すことによって,イメージで考えるモデルにインセンティブを与えている。 結果に基づく報酬を頼りにする一般的な強化学習の実践は、テキストの妥当性が経営幹部の失敗を隠蔽するという事実を無視します。 マルチモーダルエージェントポリシー最適化(MAPO)を導入し、テキスト推論とモデルが生成する視覚行動のギャップを埋める。
  論文  参考訳（メタデータ） (2026-04-08T07:48:07Z)
• PLUME: Latent Reasoning Based Universal Multimodal Embedding [52.35354073629127]
  ユニバーサルマルチモーダル埋め込み(UME)は、異種入力を単一のモデルで共有検索空間にマッピングする。 最近のアプローチでは、埋め込みを抽出する前に明確なチェーン・オブ・シント(CoT)論理を生成することにより、UMEを改善している。 PLUMEは,言語化されたCoTを連続的潜伏状態の短時間の自己回帰ロールアウトに置き換えることで,UMEを進化させる潜在的推論フレームワークである。
  論文  参考訳（メタデータ） (2026-04-02T14:04:53Z)
• Thinking in Uncertainty: Mitigating Hallucinations in MLRMs with Latent Entropy-Aware Decoding [38.5840117402958]
  トークン確率分布から適切な文脈推論情報を直接抽出できることを論じる。 本稿では,効率的なプラグアンドプレイデコーディング戦略であるLatent Entropy-Aware Decodingを提案する。 このモデルは高エントロピー状態下での確率重み付き連続埋め込みを採用し、エントロピーが減少するにつれて離散トークン埋め込みに遷移する。
  論文  参考訳（メタデータ） (2026-03-09T12:47:54Z)
• MIND: Multi-rationale INtegrated Discriminative Reasoning Framework for Multi-modal Large Models [15.860796863065737]
  本稿では,多段階独立識別(MIND)推論フレームワークを提案する。 ヒューマンライクな認知能力を持つMLLMの「Understand -> Rethink -> Correct」を支援するように設計されている。 受動的模倣に基づく推論から活発な差別的推論へのパラダイム進化を達成する。
  論文  参考訳（メタデータ） (2025-12-05T08:41:44Z)
• Directional Reasoning Injection for Fine-Tuning MLLMs [51.53222423215055]
  マルチモーダルな大言語モデル(MLLM)は急速に進歩しているが、その推論能力は強いテキストのみのモデルよりも遅れていることが多い。 このギャップを埋める既存の方法は、大規模マルチモーダル推論データや強化学習の監督された微調整に依存している。 この問題を解決するために,DRIFT(Directional Reasoning Injection for Fine-Tuning)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T18:06:46Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。