論文の概要: When does Chain-of-Thought Help: A Markovian Perspective
- arxiv url: http://arxiv.org/abs/2603.00306v1
- Date: Fri, 27 Feb 2026 20:43:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.137167
- Title: When does Chain-of-Thought Help: A Markovian Perspective
- Title（参考訳）: Chain-of-Thought: Markovianの視点
- Authors: Zihan Wang, Yijun Dong, Qi Lei,
- Abstract要約: Chain-of-Thought(CoT)プロンプトは推論を改善するために広く使われている推論時間技術である。
我々は、段階的推論軌道をマルコフ連鎖としてモデル化することで、CoTがいつ、なぜ役立つのかを分析する。
- 参考スコア（独自算出の注目度）: 25.903929237215333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-Thought (CoT) prompting is a widely used inference-time technique for improving reasoning, yet its gains are uneven across tasks. We analyze when and why CoT helps by modeling the step-wise reasoning trajectory as a Markov chain. Each intermediate step is a state and the dependence between steps is captured by a transition kernel. Our theory identifies transition alignment, whether instances share a common step-wise transition kernel, as the key determinant of CoT's effectiveness. When transitions are identical across steps, CoT reduces inference-time sample complexity: fewer context sample trajectories suffice to recover the final decision. In contrast, when transitions differ across steps, these gains can vanish. We further quantify how noise in intermediate steps modulates CoT's benefit. Beyond theory, we design synthetic benchmarks that isolate these factors to complement prior results on real-world tasks and to empirically validate our predictions.
- Abstract（参考訳）: CoT(Chain-of-Thought)プロンプトは推論を改善するために広く使われている推論時テクニックであるが、その利得はタスク間で不均一である。
我々は、段階的推論軌道をマルコフ連鎖としてモデル化することで、CoTがいつ、なぜ役立つのかを分析する。
各中間ステップは状態であり、ステップ間の依存関係は遷移カーネルによってキャプチャされる。
我々の理論は、インスタンスが共通のステップワイズ遷移カーネルを共有するかどうかというトランジッションアライメントを、CoTの有効性の重要な決定要因として特定する。
遷移がステップ間で同一である場合、CoTは推論時間サンプルの複雑さを減らす。
対照的に、ステップ間で遷移が異なる場合、これらの利得は消滅する可能性がある。
さらに、中間段階におけるノイズがCoTの利点をどう調節するかを定量化する。
理論的には、これらの因子を分離し、実世界のタスクの事前結果を補完し、予測を実証的に検証する合成ベンチマークを設計する。
関連論文リスト
- Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure [58.89643769707751]
表現空間における潜在連鎖を操作可能な因果過程として研究する。
遅延ステップの予算は、均質な余分な深さよりも、非局所的なルーティングを備えたステージ機能のように振る舞う。
これらの結果は、モード条件と安定性を意識した分析を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けている。
論文 参考訳（メタデータ） (2026-02-09T15:25:12Z) - Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。
CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
論文 参考訳（メタデータ） (2026-01-06T16:26:40Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳（メタデータ） (2025-05-19T11:30:41Z) - Reasoning by Superposition: A Theoretical Perspective on Chain of Continuous Thought [64.43689151961054]
連続CoTのD$ステップを持つ2層トランスが有向グラフ到達可能性問題を解くことができることを証明した。
我々の構成では、各連続思考ベクトルは複数の探索フロンティアを同時に符号化する重ね合わせ状態である。
論文 参考訳（メタデータ） (2025-05-18T18:36:53Z) - Coupling-based Convergence Diagnostic and Stepsize Scheme for Stochastic Gradient Descent [9.69064563836298]
グラディエントDescent (SGD) の収束挙動は, 段差構成に大きく依存する。
本稿では, トランジェンス定常状態からの遷移を理論的に追跡する新しい結合型診断法を提案する。
論文 参考訳（メタデータ） (2024-12-15T23:50:23Z) - Transformers Provably Solve Parity Efficiently with Chain of Thought [40.78854925996]
この研究は、複雑な問題を解決するためのトレーニングトランスの最初の理論的解析を提供する。
我々は、基本的な$k$-parity問題を解くために、1層トランスを訓練することを検討する。
論文 参考訳（メタデータ） (2024-10-11T08:55:17Z) - Training Nonlinear Transformers for Chain-of-Thought Inference: A Theoretical Generalization Analysis [82.51626700527835]
チェーン・オブ・シフト(Chain-of-shift, CoT)は、複数の中間ステップを持つ例を用いてクエリを増強することにより、大規模言語モデルの推論能力を実現する効率的な手法である。
CoT の理論的成功にもかかわらず、CoT が成立しても正確な一般化が得られないことを示す。
論文 参考訳（メタデータ） (2024-10-03T03:12:51Z) - Learning Iterative Robust Transformation Synchronization [71.73273007900717]
グラフニューラルネットワーク(GNN)を用いて変換同期を学習することを提案する。
本研究では、ロバストな損失関数のハンドクラフトを回避するとともに、グラフニューラルネットワーク(GNN)を用いて変換同期を学習することを提案する。
論文 参考訳（メタデータ） (2021-11-01T07:03:14Z) - Ergodicity Breaking Transition in Finite Disordered Spin Chains [0.0]
我々は、相互作用するスピン-1/2鎖の高エネルギー固有状態における障害誘起エルゴディニティ破壊遷移について研究した。
恒常的に、(無限次)コステリッツ-チューレス遷移は有限次遷移と比較して低いコスト関数をもたらす。
論文 参考訳（メタデータ） (2020-04-03T18:00:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。