論文の概要: Interpreting Latent CoT Reasoning as Dynamical Systems

• arxiv url: http://arxiv.org/abs/2607.09698v1
• Date: Sat, 20 Jun 2026 16:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-19 21:54:20.376839
• Title: Interpreting Latent CoT Reasoning as Dynamical Systems
• Title（参考訳）: 動的システムとしての潜在CoT推論の解釈
• Authors: Sabari Iyyappan Duraipandian, Shreya Sanjay Boyane, Manju Nagesh, Jerome Francis, Archana Vaidheeswaran, Kevin Zhu,
• Abstract要約: 我々は、潜在トークン列を表現空間の軌跡としてモデル化する。 遅延CoTは2つの異なる安定性クラスを持つ非ランダム動的構造を示すことを示す。 この枠組みは潜在CoT推論力学の解釈可能性を向上させる。
• 参考スコア（独自算出の注目度）: 2.2448294058653455
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent latent reasoning methods, such as CODI and COCONUT, face a fundamental interpretability problem: they maintain multiple superimposed candidate traces in the hidden space at each step, unlike explicit- CoT, which follows a single transparent reasoning trace. Existing mechanistic methods show compression, shortcuts, and superposition without explaining how reasoning evolves across latent steps. To address this gap, we model latent token sequences as trajectories in representation space and apply dynamical systems analysis to characterize the evolution of reasoning. Using quantitative measures, such as step-to-step change, direction consistency, and Lyapunov sensitivity, alongside qualitative projections, such as UMAP and DMD/PHATE, we show that latent CoT exhibits structured, non-random dynamics with two distinct stability classes. CODI behaves as a stable attractor, while COCONUT behaves as an unstable expanding system, and SIM-CoT supervision tightens both behaviors without changing the underlying dynamics. This framework advances the interpretability of latent CoT reasoning dynamics and provides actionable insights for improving latent reasoning performance. Code1 and Project page2 available online.
• Abstract（参考訳）: CODI や COCONUT のような近年の潜伏推論手法は、各ステップで隠れた空間に複数の重畳された候補トレースを維持できるという根本的な解釈可能性の問題に直面している。 既存のメカニスティックな手法は、圧縮、ショートカット、および重ね合わせを、遅延ステップ間での推論がどのように進化するかを説明することなく示す。 このギャップに対処するために、潜在トークン列を表現空間の軌跡としてモデル化し、動的システム解析を適用して推論の進化を特徴づける。 UMAP や DMD/PHATE などの定性的射影とともに, ステップ・ツー・ステップ変化, 方向整合性, リアプノフ感度などの定量的測定値を用いて, 遅延CoT は2つの異なる安定性クラスを持つ構造的非ランダムダイナミクスを示すことを示した。 CODIは安定した引力として振る舞うが、COCONUTは不安定な膨張系として振る舞う。 このフレームワークは潜在CoT推論ダイナミクスの解釈可能性を高め、潜在CoT推論性能を改善するための実用的な洞察を提供する。 Code1とProject page2はオンラインで入手できる。

関連論文リスト

• What Makes Effective Supervision in Latent Chain-of-Thought: An Information-Theoretic Analysis [24.026935801991744]
  我々は、情報理論の観点から遅延連鎖(CoT)を分析し、この失敗を二重崩壊とみなす。 これらの効果を測定するために、潜在軌道と明示的推論ステップの間の相互情報を定量化するUnified Latent Probe (ULP)を導入する。
  論文  参考訳（メタデータ） (2026-06-18T10:51:53Z)
• Unlocking the Black Box of Latent Reasoning: An Interpretability-Guided Approach to Intervention [33.40772052822545]
  本稿では,機械的解釈可能性と動作可能な制御のギャップを埋める。 まず,構造的,因果的,幾何学的プローブを用いた系統解析を行った。 次に、これらの解釈可能性に関する洞察を、トレーニングなしのデコードタイムの介入スイートに運用します。
  論文  参考訳（メタデータ） (2026-05-31T13:52:24Z)
• Visual Latents Know More Than They Say: Unsilencing Latent Reasoning in MLLMs [54.16324124242172]
  連続潜在空間推論は、マルチモーダルモデルに対するテキストチェーンのコンパクトな代替を提供する。 既存の視覚的推論手法では,これまで見過ごされてきた最適化病理を同定する。 パラメータ更新を伴わない推論時間潜時最適化は、視覚潜時における抑止的推論能力を効果的に解き放つことを示す。
  論文  参考訳（メタデータ） (2026-05-04T15:36:12Z)
• Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure [58.89643769707751]
  表現空間における潜在連鎖を操作可能な因果過程として研究する。 遅延ステップの予算は、均質な余分な深さよりも、非局所的なルーティングを備えたステージ機能のように振る舞う。 これらの結果は、モード条件と安定性を意識した分析を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けている。
  論文  参考訳（メタデータ） (2026-02-09T15:25:12Z)
• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
  本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。 推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。 この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
  論文  参考訳（メタデータ） (2025-08-29T18:53:31Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• Empirical Investigation of Latent Representational Dynamics in Large Language Models: A Manifold Evolution Perspective [4.935224714809964]
  本稿では,低次元意味多様体上で進化する連続軌跡として,大規模言語モデル(LLM)の生成をモデル化する概念的フレームワークである動的マニフォールド進化論(DMET)を紹介する。 この理論は、3つの解釈可能な測度-状態連続性(C$)、誘引子コンパクト性(Q$)、トポロジカル持続性(P$)を通じて潜在力学を特徴づけ、滑らかさ、安定性、表現進化の構造を共同で捉える。
  論文  参考訳（メタデータ） (2025-05-24T14:17:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。