論文の概要: Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization
- arxiv url: http://arxiv.org/abs/2601.21358v2
- Date: Wed, 04 Feb 2026 16:14:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 15:07:33.531198
- Title: Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization
- Title(参考訳): 計画としての潜在的連鎖--言語化と推論の切り離し
- Authors: Jiecong Wang, Hao Peng, Chunyang Liu,
- Abstract要約: CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。
最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。
PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
- 参考スコア(独自算出の注目度): 9.193078163792427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-Thought (CoT) empowers Large Language Models (LLMs) to tackle complex problems, but remains constrained by the computational cost and reasoning path collapse when grounded in discrete token spaces. Recent latent reasoning approaches attempt to optimize efficiency by performing reasoning within continuous hidden states. However, these methods typically operate as opaque end-to-end mappings from explicit reasoning steps to latent states, and often require a pre-defined number of latent steps during inference. In this work, we introduce PLaT (Planning with Latent Thoughts), a framework that reformulates latent reasoning as planning by fundamentally decouple reasoning from verbalization. We model reasoning as a deterministic trajectory of latent planning states, while a separate Decoder grounds these thoughts into text when necessary. This decoupling allows the model to dynamically determine when to terminate reasoning rather than relying on fixed hyperparameters. Empirical results on mathematical benchmarks reveal a distinct trade-off: while PLaT achieves lower greedy accuracy than baselines, it demonstrates superior scalability in terms of reasoning diversity. This indicates that PLaT learns a robust, broader solution space, offering a transparent and scalable foundation for inference-time search. Our code can be found in https://github.com/yunsaijc/PLaT.
- Abstract(参考訳): CoT(Chain-of-Thought)は、LLM(Large Language Models)に複雑な問題に取り組む権限を与えるが、離散トークン空間における計算コストと推論経路の崩壊によって制約される。
最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。
しかしながら、これらの手法は通常、明示的な推論ステップから潜伏状態への不透明なエンドツーエンドマッピングとして機能し、推論中に予め定義された潜伏ステップの数を必要とすることが多い。
本研究は, PLaT (Planning with Latent Thoughts) を導入し, PLaT(Planning with Latent Thoughts) について述べる。
我々は、潜在計画状態の決定論的軌跡として推論をモデル化し、別個のデコーダは必要に応じてこれらの思考をテキスト化します。
この分離により、モデルは固定されたハイパーパラメータに頼るのではなく、推論をいつ終了するかを動的に決定できる。
PLaTはベースラインよりもグリージーの精度が低いが、推論の多様性の点で優れたスケーラビリティを示す。
これは、PLaTが堅牢で広範なソリューション空間を学習し、推論時間検索のための透明でスケーラブルな基盤を提供することを示している。
私たちのコードはhttps://github.com/yunsaijc/PLaT.comで見られます。
関連論文リスト
- SpiralThinker: Latent Reasoning through an Iterative Process with Text-Latent Interleaving [4.732347368043908]
SpiralThinkerは、潜在表現を反復的に更新する統合フレームワークである。
構造化アノテーションと組み合わせたプログレッシブアライメントの目的は、潜在的推論とテキスト推論のコヒーレンスを維持する。
論文 参考訳(メタデータ) (2025-11-12T05:05:42Z) - Think Consistently, Reason Efficiently: Energy-Based Calibration for Implicit Chain-of-Thought [33.267497114389734]
大規模言語モデル(LLM)は、emphChain-of-Thought(CoT)のプロンプトを通じて、強力な推論能力を示している。
CoT法は離散トークンレベルの推論プロセスに依存しており、誤りの伝播が難しく、語彙によって制限される。
EBM-CoT(Energy-based Chain-of-Thought)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-10T14:10:58Z) - Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization [5.674809920704963]
Latent Thought Policy Optimizationは、LLM推論を完全にテスト時に強化する。
実験により、LTPOは標準タスクの強いベースラインに適合または超えるだけでなく、他のタスクが失敗する際、顕著な堅牢性を示すことが示された。
とりわけ、既存の遅延推論ベースラインがほぼゼロに近い精度に崩壊する非常に難しいAIMEベンチマークでは、LTPOが大幅に改善されている。
論文 参考訳(メタデータ) (2025-10-05T12:50:39Z) - Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。
推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。
我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
論文 参考訳(メタデータ) (2025-08-25T03:17:17Z) - A Survey on Latent Reasoning [100.54120559169735]
大きな言語モデル(LLM)は印象的な推論機能を示している。
中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。
潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
論文 参考訳(メタデータ) (2025-07-08T17:29:07Z) - Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。
我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。
SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
論文 参考訳(メタデータ) (2025-03-07T06:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。