論文の概要: LLM Reasoning as Trajectories: Step-Specific Representation Geometry and Correctness Signals

• arxiv url: http://arxiv.org/abs/2604.05655v1
• Date: Tue, 07 Apr 2026 09:55:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.754514
• Title: LLM Reasoning as Trajectories: Step-Specific Representation Geometry and Correctness Signals
• Title（参考訳）: 軌道としてのLLM推論:ステップ特異的表現幾何学と正確性信号
• Authors: Lihao Sun, Hang Dong, Bo Qiao, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan,
• Abstract要約: この研究は、大規模言語モデルのチェーン・オブ・シント生成を表現空間による構造化軌道として特徴づける。 数理的推論トラバースが機能的に順序付けられたステップ固有の部分空間であり、層深さと分離しやすくなっていることを示す。
• 参考スコア（独自算出の注目度）: 41.161787849343824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work characterizes large language models' chain-of-thought generation as a structured trajectory through representation space. We show that mathematical reasoning traverses functionally ordered, step-specific subspaces that become increasingly separable with layer depth. This structure already exists in base models, while reasoning training primarily accelerates convergence toward termination-related subspaces rather than introducing new representational organization. While early reasoning steps follow similar trajectories, correct and incorrect solutions diverge systematically at late stages. This late-stage divergence enables mid-reasoning prediction of final-answer correctness with ROC-AUC up to 0.87. Furthermore, we introduce trajectory-based steering, an inference-time intervention framework that enables reasoning correction and length control based on derived ideal trajectories. Together, these results establish reasoning trajectories as a geometric lens for interpreting, predicting, and controlling LLM reasoning behavior.
• Abstract（参考訳）: この研究は、大規模言語モデルのチェーン・オブ・シント生成を表現空間による構造化軌道として特徴づける。 数理的推論トラバースが機能的に順序付けられたステップ固有の部分空間であり、層深さと分離しやすくなっていることを示す。 この構造は既にベースモデルに存在しており、推論トレーニングは、新しい表現体系を導入するのではなく、主に終端関連部分空間への収束を加速する。 初期の推論ステップは同様の軌道を辿るが、正解と誤解は後期に体系的に発散する。 この後期の発散は、ROC-AUCで0.87まで最終回答正当性を予測することができる。 さらに、推論時間介入フレームワークであるトラジェクトリベースのステアリングを導入し、導出された理想軌跡に基づいて推論補正と長さ制御を可能にする。 これらの結果は、LLM推論の振る舞いを解釈、予測、制御するための幾何レンズとしての推論軌道を確立する。

関連論文リスト

• The Geometric Price of Discrete Logic: Context-driven Manifold Dynamics of Number Representations [6.414826816896125]
  大規模言語モデル(LLM)は連続的な意味空間をスムーズに一般化するが、厳密な論理的推論は決定境界の形成を要求する。 我々は、タスクコンテキストが、必要な「トポロジ的歪み」を強制する非等方的力学演算子として機能すると主張している。 この幾何学的進化は、単純な写像から複雑な原始性テストまで、タスクの勾配を越えて検証する。
  論文  参考訳（メタデータ） (2026-03-24T13:41:57Z)
• On Multi-Step Theorem Prediction via Non-Parametric Structural Priors [50.16583672681106]
  本研究では,インコンテキスト学習(ICL)のレンズによる学習自由な定理予測について検討する。 本稿では,過去の解の時間的依存関係を有向グラフとしてエンコードし,推論中に探索空間を効果的に引き起こす明示的なトポロジ的制約を課すTheorem Precedence Graphsを提案する。 FormalGeo7kベンチマークの実験から,本手法は89.29%の精度を実現し,ICLベースラインを著しく上回り,最先端の教師付きモデルに適合することがわかった。
  論文  参考訳（メタデータ） (2026-03-05T06:08:50Z)
• Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
  フローマッチングは、生成モデリングの強力なフレームワークとして登場した。 速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。 信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:02:30Z)
• How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
  大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。 推論を原子核スキルに分解する新しいベンチマークを導入する。 SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
  論文  参考訳（メタデータ） (2025-12-30T08:16:20Z)
• Geometrically-Constrained Agent for Spatial Reasoning [53.93718394870856]
  視覚言語モデルは空間的推論において基本的な意味-幾何学的ギャップを示す。 現在のパラダイムは、このギャップを埋めることに失敗します。 本稿では,形式的タスク制約を導入することにより,このギャップを解消する学習自由エージェントパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-11-27T17:50:37Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• Description of the Training Process of Neural Networks via Ergodic Theorem : Ghost nodes [3.637162892228131]
  本稿では、訓練勾配降下(SGD)による深層ニューラルネットワークの理解と加速のための統一的な枠組みを提案する。 我々は,安定剤に対する真の収束を識別する,最も大きなリャプノフ指数の実用診断,実行推定を導入する。 本稿では,補助的なゴースト出力ノードを付加した標準分類器のゴーストカテゴリ拡張を提案する。
  論文  参考訳（メタデータ） (2025-07-01T17:54:35Z)
• On the Emergence of Cross-Task Linearity in the Pretraining-Finetuning Paradigm [47.55215041326702]
  我々は、共通の事前訓練されたチェックポイントから、クロスタスク線形性(CTL)と呼ばれる異なるタスクに微調整されたモデルにおいて、興味深い線形現象を発見する。 2つの微調整モデルの重みを線形に補間すると、重み補間モデルの特徴は各層における2つの微調整モデルの特徴の線形性にほぼ等しいことが示される。 プレトレーニング-ファインタニングのパラダイムでは、ニューラルネットワークは、パラメータ空間から特徴空間への写像である線形写像として概ね機能する。
  論文  参考訳（メタデータ） (2024-02-06T03:28:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。