論文の概要: CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts

• arxiv url: http://arxiv.org/abs/2606.31986v2
• Date: Fri, 03 Jul 2026 17:19:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 13:04:58.360128
• Title: CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts
• Title（参考訳）: CoLT: マルチモーダルモデルに潜在思想のチェインで考えることを教える
• Authors: Lianyu Hu, Shengqian Qin, Zeqin Liao, Qing Guo, Liang Wan, Wei Feng, Yang Liu,
• Abstract要約: CoT推論(Chain-of-Thought reasoning)により、複雑な視覚的推論タスクに対処するマルチモーダルな大規模言語モデル(MLLM)が実現された。 我々は,多モーダルモデルに潜在的思考表現の連鎖を通して推論を教える新しいフレームワークであるCoLTを提案する。 テキストCoTメソッドと比較して、CoLTは推論時間を10.1$times$、テキストデコード時間を22.6$times$と明確に削減することができる。
• 参考スコア（独自算出の注目度）: 25.917787556467776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) reasoning has enabled multi-modal large language models (MLLMs) to tackle complex visual reasoning tasks by generating explicit intermediate reasoning steps in natural language. However, this text-based reasoning paradigm is inherently slow at inference time with even thousands of tokens and fundamentally constrained by the expressiveness of natural language. In this paper, we propose CoLT, (Chain of Latent Thoughts), a novel framework that teaches multi-modal models to reason through a chain of latent thought representations instead of verbose text tokens, which can perform thinking with as few as 3 steps. Naively forcing the model to think with latent states easily produces meaningless semantics and makes training unstable. To effectively regulate the latent reasoning process, we introduce a lightweight external decoder that provides step-level supervision for each latent reasoning step in two complementary directions: a forward mode that decodes latent thoughts into the textual reasoning of the next step, and a backward mode that aligns decoder hidden states with the model's latent thoughts given preceding textual context. We further incorporate internal supervision that encourages coherent step-by-step latent transitions. The decoder and internal supervision are removed during inference to maintain high efficiency of latent reasoning. Extensive experiments on eight benchmarks demonstrate that CoLT not only outperforms existing latent reasoning methods such as CODI and SIM-CoT, but also surpasses latent visual reasoning approaches that rely on auxiliary images with costly annotation requirements. Compared to text CoT methods, CoLT can notably reduce the inference time by 10.1$\times$ and text decoding time by 22.6$\times$. Code is released at https://github.com/hulianyuyy/CoLT.
• Abstract（参考訳）: CoT推論(Chain-of-Thought reasoning)により、多モードの大規模言語モデル(MLLM)は、自然言語の明示的な中間的推論ステップを生成することで、複雑な視覚的推論タスクに対処できるようになった。 しかし、このテキストベースの推論パラダイムは、何千ものトークンを持つ推論時間において本質的に遅く、自然言語の表現性によって根本的に制約されている。 本稿では,多モードモデルに冗長なテキストトークンの代わりに,潜在思考表現の連鎖を通じて推論を指導する新しいフレームワークであるCoLT(Chain of Latent Thoughts)を提案する。 モデルに潜在状態による思考を強制することは、意味のない意味論を容易に生成し、トレーニングを不安定にする。 遅延推論過程を効果的に制御するために、遅延推論の各ステップを2つの相補的な方向に段階的に監視する軽量な外部デコーダを導入し、遅延思考を次のステップのテキスト推論にデコードするフォワードモードと、デコーダ隠れ状態と先行したテキストコンテキストの潜在思考とを整列する後方モードを導入する。 我々はさらに、一貫性のあるステップバイステップの潜伏遷移を促進する内部監督を取り入れている。 遅延推論の高効率を維持するために、推論中にデコーダと内部監視を除去する。 8つのベンチマークでの大規模な実験により、COLTはCODIやSIM-CoTのような既存の潜伏推論手法よりも優れているだけでなく、高価なアノテーションを必要とする補助画像に依存する潜伏視覚推論手法よりも優れていることが示された。 テキストCoTメソッドと比較して、CoLTは推論時間を10.1$\times$に、テキスト復号時間を22.6$\times$に減らすことができる。 コードはhttps://github.com/hulianyuyy/CoLT.comで公開されている。

関連論文リスト

• Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression [42.15219720606396]
  大規模言語モデルは、明示的な連鎖と強化学習を通じて高い推論性能を達成する。 潜在推論は、計算を潜在空間にシフトすることで、このコストを削減する。 連続潜時状態を明示的な離散トークンに変換する最初の方法である textbfDiscrete Latent Reasoning (DLR) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T02:34:52Z)
• SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models [15.95627037350657]
  CoT (Explicit Chain-of-Thought) 計算はトークンレベルのトレースを内部化することによって高い推論コストを発生させる。 固定応答テンプレートを強制せずに、明示的なCoTをコンパクトなポーズトークンに圧縮するフレキシブルなフレームワークであるSPOTを提案する。 推論ベンチマークの実験では、SPOTは生成したトークンを37.5%削減しながら、平均2.3ポイントの精度を向上している。
  論文  参考訳（メタデータ） (2026-03-06T12:34:27Z)
• Latent Thoughts Tuning: Bridging Context and Reasoning with Fused Information in Latent Tokens [13.653741247835091]
  Latent Thoughts Tuning(LT-Tuning)は、潜在思想の構築とデプロイ方法を再定義するフレームワークである。 本研究では,コンテキスト隠蔽状態と予測意味指導を協調的に活用するコンテキスト予測融合機構を提案する。 提案手法は,既存の潜在推論ベースラインより優れ,機能崩壊を効果的に軽減し,頑健な推論精度を実現する。
  論文  参考訳（メタデータ） (2026-02-10T19:19:10Z)
• CoLT: Reasoning with Chain of Latent Tool Calls [31.228763375347608]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)の推論能力を高める重要な手法である。 ツールコールとして潜伏推論を実装する新しいフレームワークである「CoLT」を提案する。
  論文  参考訳（メタデータ） (2026-02-04T06:12:53Z)
• Fast Thinking for Large Language Models [67.7238685892317]
  我々は、訓練中にのみ簡潔なCoTスケッチを使用して個別戦略事前のコードブックを学習するフレームワークであるLatent Codebooks for Fast Thinkingを紹介した。 推論では、コードブックから抽出した少数の連続的思考スイッチのモデル条件を1パスにすることで、明確な推論トークンを生成することなく、戦略レベルのガイダンスを可能にする。
  論文  参考訳（メタデータ） (2025-09-28T04:19:48Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
  ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
  論文  参考訳（メタデータ） (2025-05-21T17:29:15Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。