論文の概要: Capabilities and Fundamental Limits of Latent Chain-of-Thought
- arxiv url: http://arxiv.org/abs/2602.01148v1
- Date: Sun, 01 Feb 2026 10:46:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.625793
- Title: Capabilities and Fundamental Limits of Latent Chain-of-Thought
- Title(参考訳): 潜伏鎖の能力と基本限界
- Authors: Jiaxuan Zou, Yaozhong Xiong, Yong Liu,
- Abstract要約: Latent Chain-of-Thought (Latent CoT)モデルは、連続表現による効率的な推論を約束するが、ファズリング性能の不整合を示す。
我々はこのトレードオフが決定的な確実性によって統治されていることを明らかにした。
- 参考スコア(独自算出の注目度): 9.586079816543178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Latent Chain-of-Thought (Latent CoT) models promise efficient reasoning via continuous representations, yet exhibit puzzling performance inconsistencies: excelling at exploration (ProsQA: 97.0%) but failing at computation (GSM8K: 34.1%). We reveal that this trade-off is governed by decisional certainty. Our contributions are threefold: (1) We theoretically characterize the fundamental Exploration-Execution Trade-off, proving that high certainty enables precise execution but inhibits exploration, while low certainty facilitates search but causes error accumulation. (2) We introduce the Symbolic Index--quantifying decisional commitment--as the core mechanism governing this trade-off and establish its causal relationship with both execution stability and exploration capability. (3) We prove that curriculum learning is theoretically necessary, as direct training provably fails due to distributional mismatch. Our framework shifts the design paradigm from binary architectural choices toward adaptive systems that dynamically regulate decisional certainty based on task demands.
- Abstract(参考訳): Latent Chain-of-Thought (Latent CoT) モデルは、連続表現による効率的な推論を約束するが、ファズリング性能の不整合を示す:探索時の卓越性(ProsQA: 97.0%)だが計算時に失敗する(GSM8K: 34.1%)。
我々はこのトレードオフが決定的な確実性によって統治されていることを明らかにした。
1) 基礎的な探索・実行トレードオフを理論的に特徴づけ、高い確実性は正確な実行を可能にするが、探索を阻害する一方で、低い確実性は探索を容易にするが、誤りの蓄積を引き起こすことを証明している。
2)我々は,このトレードオフを管理する中核的なメカニズムとして,シンボリック指標を定式化して,実行安定性と探索能力の両面で因果関係を確立する。
(3) 直接学習は分布ミスマッチによって確実に失敗するため,カリキュラム学習が理論的に必要であることを示す。
我々のフレームワークは、設計パラダイムをバイナリアーキテクチャの選択から、タスク要求に基づいて動的に決定的確実性を制御する適応システムに移行する。
関連論文リスト
- Agentic Uncertainty Quantification [76.94013626702183]
本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。
システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
論文 参考訳(メタデータ) (2026-01-22T07:16:26Z) - CoG: Controllable Graph Reasoning via Relational Blueprints and Failure-Aware Refinement over Knowledge Graphs [53.199517625701475]
CoGはDual-Process Theoryにインスパイアされたトレーニング不要のフレームワークで、直観と熟考の相互作用を模倣している。
CoGは精度と効率の両方において最先端のアプローチを著しく上回っている。
論文 参考訳(メタデータ) (2026-01-16T07:27:40Z) - Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。
複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
論文 参考訳(メタデータ) (2025-10-13T03:10:26Z) - FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning [62.452350134196934]
FaithCoT-Benchは、インスタンスレベルのCoT不信検出のための統一ベンチマークである。
我々の枠組みは差別的な決定問題として不誠実検出を定式化している。
FaithCoT-Bench は LLM のより解釈可能で信頼性の高い推論に向けた将来の研究の基盤となる。
論文 参考訳(メタデータ) (2025-10-05T05:16:54Z) - Deliberative Reasoning Network: An Uncertainty-Driven Paradigm for Belief-Tracked Inference with Pretrained Language Models [7.095344389368656]
Deliberative Reasoning Network (DRN) は、確率から不確実性への論理的推論を再構成する新しいパラダイムである。
DRNは、信念状態を明示的に追跡し、競合する仮説の不確実性を定量化することによって、本質的な解釈可能性を達成する。
我々は、DRNを、より信頼できるAIシステムを構築するための、基礎的で検証可能なシステム2推論コンポーネントとして位置付ける。
論文 参考訳(メタデータ) (2025-08-06T11:33:35Z) - CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。
我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。
我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
論文 参考訳(メタデータ) (2025-07-10T21:32:18Z) - Causal Sufficiency and Necessity Improves Chain-of-Thought Reasoning [22.885363238296858]
CoT(Chain-of-Thought)は、複雑な推論機能を備えた大規模言語モデル(LLM)の実現において、必要不可欠な役割を担っている。
本稿では,CoT推論を補足と必要の両レンズで特徴付ける因果的枠組みを提案する。
論文 参考訳(メタデータ) (2025-06-11T15:22:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。