論文の概要: How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories

• arxiv url: http://arxiv.org/abs/2607.28674v1
• Date: Tue, 28 Jul 2026 06:15:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-03 14:29:40.356344
• Title: How Hard Does It Think? Analyzing Step-Aware Reasoning Energy in LLM Chain-of-Thought Trajectories
• Title（参考訳）: LLMチェイン・オブ・サート軌道におけるステップアウェア推論エネルギーの分析
• Abstract要約: 我々は,個々のCoTステップの粒度における労力を定量化するための幾何学的枠組みであるステップ・アウェア・推論・エナジー(SARE)を提案する。 推理エネルギーはステップタイプにまたがって非常に不均一であり、軌道レベルの指標からは見えない位相的な遷移を示す。 SAREベースの機能は、ほとんどの設定でアウトプットベースの信頼ベースラインにマッチするか、向上します。
• 参考スコア（独自算出の注目度）: 51.16651846289446
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how computational effort is allocated across individual chain-of-thought (CoT) reasoning steps remains an open challenge: existing interpretability methods rely on output-level signals or collapse processing depth into a single trajectory-level scalar, leaving step-wise effort opaque. We propose Step-Aware Reasoning Energy (SARE), a geometric framework that quantifies effort at the granularity of individual CoT steps via Centered Kernel Alignment (CKA) between Gram matrices of token hidden states across adjacent transformer layers, capturing inter-token relational structure without requiring eigenvector alignment or cluster correspondence. SARE further contextualizes this energy within reasoning's semantic progression by modeling CoT trajectories as transitions among latent semantic states. Across six reasoning benchmarks and three open-weight LLMs, we find that reasoning energy is highly non-uniform across step types, exhibiting phase-like transitions invisible to trajectory-level metrics; incorrect trajectories show systematically lower energy at critical reasoning junctions; and SARE-based features match or outperform output-based confidence baselines in most settings, indicating that internal geometric dynamics encode predictive information beyond surface-level signals.
• Abstract（参考訳）: 既存の解釈可能性法は出力レベル信号や1つの軌跡レベルのスカラーへの崩壊処理深度に依存しており、ステップワイドの労力は不透明である。 本稿では,CKA(Centered Kernel Alignment)による個々のCoTステップの粒度を,隣接する変圧器層にまたがるトークン隠蔽状態のグラム行列間で定量化し,固有ベクトルアライメントやクラスタ対応を必要とせず,整合関係構造を捉えるための幾何学的フレームワークであるSteep-Aware Reasoning Energy(SARE)を提案する。 SAREはさらに、CoT軌道を潜在意味状態間の遷移としてモデル化することで、推論のセマンティック進行の中でこのエネルギーを文脈化する。 6つの推論ベンチマークと3つのオープンウェイトLCMにおいて、推論エネルギーはステップタイプ間で非常に一様ではなく、軌道レベルの測定値に見えない位相的遷移を示すこと、誤った軌道は臨界推論ジャンクションにおいて体系的に低いエネルギーを示すこと、SAREベースの特徴はほとんどの設定において出力ベース信頼性基準値と一致または出力ベースラインに一致し、内部幾何学的ダイナミクスが表面レベルの信号を超えて予測情報を符号化すること、が示されている。

関連論文リスト

• From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers [53.505136935517925]
  自己注意は現代のシーケンスモデルにおいてユビキタスプリミティブであるが、作用素レベルの幾何学は部分的には理解されていない。 単頭注意 (SHA) は, 常に搬送される接続伝播ステップであることを示す。 トレーニングされたトランスフォーマー(124Mから8B)と構造(エンコーダ/デコーダ)は、我々の理論と整合した幾何学的構造を示す。
  論文  参考訳（メタデータ） (2026-07-12T09:44:54Z)
• Interpreting Latent CoT Reasoning as Dynamical Systems [2.2448294058653455]
  我々は、潜在トークン列を表現空間の軌跡としてモデル化する。 遅延CoTは2つの異なる安定性クラスを持つ非ランダム動的構造を示すことを示す。 この枠組みは潜在CoT推論力学の解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-06-20T16:02:55Z)
• EIVE: End-to-End Instance-Specific Visual Explanations for Detection Transformers [7.91708974258006]
  EIVE(End-to-end Instance-specific Visual Explanation framework)を提案する。 EIVEは、検出トランスフォーマー(DETR)のようなモデルの前方通過に従って、インスタンスレベルのサリエンシマップを直接生成する。 MS 2017の実験では、ExDarkとCityscapesは、EIVEが高品質のインスタンスレベルの唾液マップを生成することを示した。
  論文  参考訳（メタデータ） (2026-06-01T02:56:31Z)
• Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
  カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。 CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
  論文  参考訳（メタデータ） (2026-04-16T01:21:14Z)
• Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization [1.5736899098702974]
  本稿では,パラメータ数から計算深度を分離するDepth-recurrent Transformerを提案する。 アーキテクチャには3つのメカニズムが組み込まれています(20以上のステップ)。 我々は,タスクの複雑さに対処して,思考ステップがスケールするにつれて,パフォーマンスが機会からほぼ完璧に遷移する,明確な計算フロンティアを観察する。
  論文  参考訳（メタデータ） (2026-03-23T08:06:45Z)
• No Global Plan in Chain-of-Thought: Uncover the Latent Planning Horizon of LLMs [65.783709850324]
  この研究は、Chain-of-Thought (CoT): Large Language Models (LLMs)の力学に関する先行的な補完的な観察に由来する。 LLMは、CoTの出現前の後続の推論の遅延計画を示すため、明示的なCoTの重要性は低下する。 各種タスク領域にまたがる隠れ状態に適用し,LLMの潜在計画強度について検討する。
  論文  参考訳（メタデータ） (2026-02-02T13:46:56Z)
• Beyond Dense States: Elevating Sparse Transcoders to Active Operators for Latent Reasoning [25.054823575096332]
  LSTR(Latent Sparse Transcoder Reasoning)を提案する。 LSTRのコアとなるのは、線形多様体輸送をスパースセマンティック更新から切り離すための残留スキップアーキテクチャを備えた潜在トランジショントランスコーダ(LTT)である。 大規模な実験により,LSTRは推論精度と圧縮効率を保ちながら,解釈性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-02-02T06:08:35Z)
• Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
  本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。 推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。 この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
  論文  参考訳（メタデータ） (2025-08-29T18:53:31Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。