論文の概要: Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure

• arxiv url: http://arxiv.org/abs/2602.08783v1
• Date: Mon, 09 Feb 2026 15:25:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.32138
• Title: Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure
• Title（参考訳）: 潜伏鎖内ダイナミクス:因果構造に関する実証的研究
• Authors: Zirui Li, Xuefeng Bai, Kehai Chen, Yizhi Li, Jian Yang, Chenghua Lin, Min Zhang,
• Abstract要約: 表現空間における潜在連鎖を操作可能な因果過程として研究する。 遅延ステップの予算は、均質な余分な深さよりも、非局所的なルーティングを備えたステージ機能のように振る舞う。 これらの結果は、モード条件と安定性を意識した分析を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けている。
• 参考スコア（独自算出の注目度）: 58.89643769707751
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Latent or continuous chain-of-thought methods replace explicit textual rationales with a number of internal latent steps, but these intermediate computations are difficult to evaluate beyond correlation-based probes. In this paper, we view latent chain-of-thought as a manipulable causal process in representation space by modeling latent steps as variables in a structural causal model (SCM) and analyzing their effects through step-wise $\mathrm{do}$-interventions. We study two representative paradigms (i.e., Coconut and CODI) on both mathematical and general reasoning tasks to investigate three key questions: (1) which steps are causally necessary for correctness and when answers become decidable early; (2) how does influence propagate across steps, and how does this structure compare to explicit CoT; and (3) do intermediate trajectories retain competing answer modes, and how does output-level commitment differ from representational commitment across steps. We find that latent-step budgets behave less like homogeneous extra depth and more like staged functionality with non-local routing, and we identify a persistent gap between early output bias and late representational commitment. These results motivate mode-conditional and stability-aware analyses -- and corresponding training/decoding objectives -- as more reliable tools for interpreting and improving latent reasoning systems.
• Abstract（参考訳）: 潜在的あるいは連続的なチェーン・オブ・シント法は、明示的なテキスト的有理をいくつかの内部潜在ステップに置き換えるが、これらの中間計算は相関に基づくプローブを超えて評価することは困難である。 本稿では、潜在連鎖を、構造因果モデル(SCM)の変数として潜在ステップをモデル化し、ステップワイズ$\mathrm{do}$-interventionsによってそれらの効果を分析することによって、表現空間における操作可能な因果過程であるとみなす。 2つの代表的なパラダイム(例えばココナッツとCODI)について,(1)どのステップが正当性に因果的に必要か,また解答が早期に決定可能であるか,(2)どのようにして影響が段々伝播し,その構造が明示的なCoTと比較されるか,(3)中間軌道が競合する応答モードを維持しているか,そして,ステップ間での出力レベルのコミットメントが表現的コミットメントとどのように異なるのか,という,3つの重要な質問を調査する。 遅延ステップの予算は、均質な余分な深さではなく、非局所的なルーティングを伴うステージド機能のように振る舞うことが分かり、初期出力バイアスと遅延表現コミットメントの間の永続的なギャップを識別する。 これらの結果は、モード条件と安定性を意識した分析 -- およびそれに対応するトレーニング/デコード目標 -- を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けます。

関連論文リスト

• Process In-Context Learning: Enhancing Mathematical Reasoning via Dynamic Demonstration Insertion [11.708864769915857]
  本稿では,リアルタイムな推論要求に応答して数学的推論を促進するプロセス・インコンテキスト・ラーニング(PICL)を提案する。 1)推論過程における意味論とエントロピーを分析し、そのコア特性を要約することにより、潜在的な混乱点を同定する。 混乱したコンテキストにマッチするデモプールから関連するデモを取得し、進行中の推論プロセスに直接挿入して、その後のステップをガイドする。
  論文  参考訳（メタデータ） (2026-01-17T09:20:06Z)
• Reasoning Relay: Evaluating Stability and Interchangeability of Large Language Models in Mathematical Reasoning [8.01259760303241]
  部分的に完了した推論連鎖が他のモデルによって確実に継続できるかどうかを検討する。 トークンレベルのログ確率しきい値を使用して、ベースラインモデルから推論を早期、中、後期に切り離します。 我々の研究は、推論モデルの新たな行動特性としてのインターチェンジビリティを示唆している。
  論文  参考訳（メタデータ） (2025-12-16T02:56:44Z)
• Selection, Reflection and Self-Refinement: Revisit Reasoning Tasks via a Causal Lens [19.316594303998667]
  推論タスクは、機械学習モデルの能力を評価するための厳格なベンチマークとみなされてきた。 我々は、因果的視点から推論タスクを再考し、潜在空間におけるそれらの振る舞いを理解する。 SR$2$と呼ばれるフレームワークを導入し、推定された潜在変数を選択機構にフィードバックとして組み込む。
  論文  参考訳（メタデータ） (2025-10-09T13:45:31Z)
• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• How do Transformers Learn Implicit Reasoning? [67.02072851088637]
  制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。 原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
  論文  参考訳（メタデータ） (2025-05-29T17:02:49Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。