論文の概要: Reasoning as State Transition: A Representational Analysis of Reasoning Evolution in Large Language Models

• arxiv url: http://arxiv.org/abs/2602.00770v1
• Date: Sat, 31 Jan 2026 15:23:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.389677
• Title: Reasoning as State Transition: A Representational Analysis of Reasoning Evolution in Large Language Models
• Title（参考訳）: 状態遷移としての推論:大規模言語モデルにおける推論進化の表現論的解析
• Authors: Siyuan Zhang, Jialian Li, Yichi Zhang, Xiao Yang, Yinpeng Dong, Hang Su,
• Abstract要約: モデルの内部状態の力学を研究するために,表現的視点を導入する。 トレーニング後、静的な初期表現品質が限られた改善しか得られないことが判明した。
• 参考スコア（独自算出の注目度）: 50.39102836928242
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models have achieved remarkable performance on reasoning tasks, motivating research into how this ability evolves during training. Prior work has primarily analyzed this evolution via explicit generation outcomes, treating the reasoning process as a black box and obscuring internal changes. To address this opacity, we introduce a representational perspective to investigate the dynamics of the model's internal states. Through comprehensive experiments across models at various training stages, we discover that post-training yields only limited improvement in static initial representation quality. Furthermore, we reveal that, distinct from non-reasoning tasks, reasoning involves a significant continuous distributional shift in representations during generation. Comparative analysis indicates that post-training empowers models to drive this transition toward a better distribution for task solving. To clarify the relationship between internal states and external outputs, statistical analysis confirms a high correlation between generation correctness and the final representations; while counterfactual experiments identify the semantics of the generated tokens, rather than additional computation during inference or intrinsic parameter differences, as the dominant driver of the transition. Collectively, we offer a novel understanding of the reasoning process and the effect of training on reasoning enhancement, providing valuable insights for future model analysis and optimization.
• Abstract（参考訳）: 大規模言語モデルは、推論タスクにおいて顕著なパフォーマンスを達成し、トレーニング中にこの能力がどのように進化するかの研究を動機付けている。 これまでの研究は、この進化を明示的な生成結果を通じて分析し、推論過程をブラックボックスとして扱い、内部変化を隠蔽した。 この不透明性に対処するために、モデルの内部状態の力学を研究するための表現的視点を導入する。 様々な訓練段階におけるモデル間の包括的実験により、後学習が静的な初期表現品質の限られた改善しか得られないことが判明した。 さらに、非推論タスクとは違い、推論は生成中の表現の顕著な連続的な分布シフトを伴うことが明らかとなった。 比較分析は、ポストトレーニングが、タスク解決のためのより良い分布に向けて、この移行を駆動するモデルに力を与えることを示している。 内部状態と外部出力の関係を明らかにするために,統計的解析により生成の正しさと最終表現との間に高い相関関係が確認されている。 総合的に,推論プロセスの新たな理解と推論の強化に対するトレーニングの効果を提供し,将来のモデル解析と最適化に有用な洞察を提供する。

関連論文リスト

• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• Towards Theoretical Understanding of Transformer Test-Time Computing: Investigation on In-Context Linear Regression [16.51420987738846]
  言語モデル推論中により多くのテストタイム計算を使用することで、より中間的な考えを生成したり、複数の候補回答をサンプリングしたりするなど、効果的であることが証明された。 本稿では,実用的な言語モデル推論と理論的トランスフォーマー解析のギャップを埋める第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-08-11T03:05:36Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• Counterfactual Generative Modeling with Variational Causal Inference [1.9287470458589586]
  本稿では, 逆ファクト生成モデリングタスクを扱うための変分ベイズ因果推論フレームワークを提案する。 実験では, 反ファクト生成モデルにおける最先端モデルと比較して, フレームワークの利点を実証する。
  論文  参考訳（メタデータ） (2024-10-16T16:44:12Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。