論文の概要: Spatiotemporal Hidden-State Dynamics as a Signature of Internal Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2605.01853v1
• Date: Sun, 03 May 2026 12:46:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.965874
• Title: Spatiotemporal Hidden-State Dynamics as a Signature of Internal Reasoning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける内部推論の指標としての時空間隠れ状態ダイナミクス
• Authors: Kotaro Furuya, Takahito Tanimura,
• Abstract要約: 内部表現は正確性に関連する信号を運ぶが、その粗い凝集はトークンや層構造を曖昧にする可能性がある。 本研究では,デコードステップとレイヤ間の隠れ状態遷移を調査し,大きな推論モデル(LRM)のパターンを同定する。 我々は,この特徴を遅延遷移の時空間振幅 (StALT) として定式化する。これは,層内サリエンスによって重み付けられた隣接トークン間の時間的変化を要約する統計軌道である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models (LRMs) generate extended solutions, yet it remains unclear whether these traces reflect substantive internal computation or merely verbosity and overthinking. Although recent hidden-state analyses suggest that internal representations carry correctness-related signals, their coarse aggregations may obscure the token and layer structure underlying reasoning computation. We investigate hidden-state transitions across decoding steps and layers, and identify a distinct spatiotemporal pattern in LRMs: successful trajectories exhibit broad temporal dynamics with localized layer-wise concentration, while this structure is weaker in non-reasoning models and knowledge-heavy domains. We formalize this characteristic as Spatiotemporal Amplitude of Latent Transition (StALT), a training-free trajectory statistic that summarizes temporal changes between adjacent tokens weighted by within-token layer saliency. Across diverse models and benchmarks, StALT reliably separates correct from incorrect trajectories in reasoning-intensive regimes, providing a competitive label-free correctness signal alongside strong output-space and length-based baselines. Intervention analyses further show that this spatiotemporal amplitude responds systematically to manipulations that increase or reduce the demand for internal reasoning, supporting its association with latent reasoning dynamics in LRMs. These findings provide empirical evidence that LRMs exhibit measurable hidden-state dynamics and offer a practical probe for understanding internal computation beyond output-based evaluation.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、拡張された解を生成するが、これらのトレースが実質的な内部計算を反映しているか、単に冗長性や過度な考えを反映しているのかは不明である。 最近の隠れ状態解析では、内部表現が正当性関連信号を持っていることが示唆されているが、それらの粗い集約は、トークンや層構造が推論計算の根底にあることを隠蔽する可能性がある。 我々は,復号化段階と層間の隠れ状態遷移を調査し,LRMにおいて異なる時空間パターンを同定する: 軌道軌道の成功は,局所的な層状濃度で広い時間的ダイナミクスを示すが,この構造は非推論モデルや知識重大領域では弱い。 本研究では, この特徴を, 学習自由軌道統計学のStALT (Spatiotemporal Amplitude of Latent Transition) として定式化した。 多様なモデルやベンチマークにわたって、StALTは推論集約的な状況下での誤った軌道から正しい軌道を確実に分離し、強力な出力空間と長さベースラインと共に競合するラベルなしの正確性信号を提供する。 介入分析により、この時空間振幅は内部推論の需要を増大または減少させる操作に体系的に反応し、LRMにおける潜時的推論ダイナミクスとの関係を支持することが示されている。 これらの結果は, LRMが測定可能な隠れ状態のダイナミクスを示すという実証的な証拠を提供し, 出力に基づく評価以上の内部計算を理解するための実用的なプローブを提供する。

関連論文リスト

• Step-Wise Refusal Dynamics in Autoregressive and Diffusion Language Models [5.578295626701434]
  拡散言語モデル(DLM)は、最近、自己回帰(AR)モデルに代わる有望な代替品として登場した。 本稿では,ARと拡散サンプリングの比較を可能にする,ステップワイズ・リファリング・ダイナミクスの基本的な解析フレームワークを提案する。 本稿では,SRI(Step-Wise Refusal Internal Dynamics)信号について紹介する。
  論文  参考訳（メタデータ） (2026-02-01T17:41:32Z)
• EDIS: Diagnosing LLM Reasoning via Entropy Dynamics [3.858418431840288]
  生成過程における信頼の時空間的進化は,集計統計単独よりも豊かな情報をもたらすことを示す。 本稿では,エントロピー進化における不安定性を定量化するための軌道レベルの指標であるエントロピーダイナミクス不安定スコア(textbfEDIS)を紹介する。
  論文  参考訳（メタデータ） (2026-02-01T15:43:50Z)
• How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
  大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。 推論を原子核スキルに分解する新しいベンチマークを導入する。 SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
  論文  参考訳（メタデータ） (2025-12-30T08:16:20Z)
• Unleashing Temporal Capacity of Spiking Neural Networks through Spatiotemporal Separation [67.69345363409835]
  スパイキングニューラルネットワーク(SNN)は、時間的処理に自然に適していると考えられており、膜電位の伝播は、コア時間的モデリングメカニズムとして広く見なされている。 我々は, 膜伝播を段階的に段階的に除去する非ステートフル(NS)モデルの設計を行った。
  論文  参考訳（メタデータ） (2025-12-05T07:05:53Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Towards Inference-time Scaling for Continuous Space Reasoning [55.40260529506702]
  推論時間スケーリングは、大規模言語モデルにおけるテキストベースの推論に有効であることが証明されている。 本稿では,そのような確立された手法が連続空間における推論にうまく適応できるかどうかを考察する。 本研究では,ドロップアウト型サンプリングによる多種多様な推論経路の実現可能性を示す。
  論文  参考訳（メタデータ） (2025-10-14T05:53:41Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて印象的な機能を示している。 LLMは、しばしば明らかな誤りと矛盾のあるテキストを生成する。 本研究では,LLMにおける内部表現のレンズによる推論について検討する。
  論文  参考訳（メタデータ） (2024-05-29T02:44:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。