論文の概要: Reasoning Fine-Tuning Induces Persistent Latent Policy States
- arxiv url: http://arxiv.org/abs/2607.18532v1
- Date: Mon, 20 Jul 2026 21:56:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-22 19:05:05.249695
- Title: Reasoning Fine-Tuning Induces Persistent Latent Policy States
- Title（参考訳）: Reasoning Fine-Tuningは永続的な潜在政策状態をもたらす
- Authors: Abir Harrasse, Michael Lan, Hunar Batra, Fateme Hashemi Chaleshtori, Chaithanya Bandi,
- Abstract要約: 我々は、微調整モデルが、基本モデルよりもよりリッチな潜在政治組織を示すことを示した。
この結果から, 微調整を全世界で行うと潜在力学が再編成されることが示唆された。
- 参考スコア（独自算出の注目度）: 1.0467550794914122
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning-specialized language models show large performance gains over base models, yet the internal changes responsible for improved multi-step reasoning remain poorly understood. It is unclear whether reasoning fine-tuning improves local token-level competence or globally reorganizes how models structure inference over time. We address this question by modeling Chain-of-Thought reasoning as a switching dynamical system (SDS), in which internal representations evolve under discrete latent policy states. Our framework combines time-aware contrastive representation learning with discrete regime discovery to recover latent policies from activation trajectories. Across four benchmarks and model scales from 1.5B to 32B parameters, reasoning-fine-tuned models exhibit richer latent-policy organization than their base counterparts, characterized by more differentiated transition structure and model-dependent changes in state utilization, persistence, and mixing. The recovered regimes exhibit functional specialization aligned with distinct reasoning stages, and extensive controls confirm that their structure is not explained by correctness, representation learning, or modeling priors, but depends on the coherent temporal organization of reasoning trajectories. Causal interventions further show that the regimes are functionally meaningful: state-swap ablations reduce one-step predictive fit, while transplanting reasoning dynamics into base models improves performance on challenging reasoning problems. Finally, SDS-guided pruning of failure-prone reasoning prefixes outperforms self-consistency in 11 of 12 model-dataset settings, with gains of up to 12.5 percentage points. Together, our results suggest that reasoning fine-tuning globally reorganizes latent dynamics, offering a new lens for mechanistic analysis and process-level control of reasoning models.
- Abstract（参考訳）: 推論特化言語モデルは、ベースモデルよりも大きなパフォーマンス向上を示すが、マルチステップ推論を改善するための内部的な変更は、まだ理解されていない。
微調整による推論が局所的なトークンレベルの能力を向上させるか、あるいは時間とともにモデルが推論をどのように構成するかを世界規模で再編成するかは、不明である。
そこで本研究では,Chain-of-Thought推論をスイッチング力学系 (SDS) としてモデル化し,内部表現を個別の潜在ポリシー状態下で進化させる手法を提案する。
我々のフレームワークは、時間認識のコントラスト表現学習と離散的な状態発見を組み合わせることで、アクティベーショントラジェクトリから潜在ポリシーを復元する。
4つのベンチマークとモデルスケールが1.5Bから32Bパラメータにまたがって、微調整された推論モデルは、より分化した遷移構造と、状態利用、持続性、混合におけるモデル依存的な変化を特徴とする、よりリッチな潜在政治組織を示す。
復元された体制は、異なる推論段階に沿った機能的特殊化を示し、広範囲な制御は、それらの構造が正確性、表現学習、またはモデリング事前によって説明されず、推論軌跡の一貫性のある時間的組織に依存していることを確認している。
状態スワップのアブレーションは1ステップの予測適合を減少させ、推論ダイナミクスをベースモデルに移植することで、困難な推論問題のパフォーマンスを向上させる。
最後に、失敗原因推論プレフィックスのSDS誘導プルーニングは、12のモデルデータセット設定のうち11の自己整合性より優れ、最大12.5ポイントの利得がある。
この結果から,微調整による推論は遅延力学を再編成し,機械的解析と推論モデルのプロセスレベル制御のための新しいレンズを提供する可能性が示唆された。
関連論文リスト
- Large Vision-Language Models Get Lost in Attention [51.851592109135716]
本稿では,情報理論と幾何に基づく統合フレームワークを提案し,残差更新の幾何的およびエントロピー的性質を定量化する。
注意は再設定に焦点を当てたサブスペース言語演算子として機能し、FFNはセマンティックイノベーションを駆動するサブスペース言語演算子として機能します。
論文 参考訳（メタデータ） (2026-05-07T04:45:52Z) - Learning Structured Reasoning via Tractable Trajectory Control [99.75278337895024]
Ctrl-Rは、トラクタブルな軌道制御を通じて構造化推論を学ぶためのフレームワークである。
Ctrl-Rは,従来達成できなかった推論パターンを効果的に探索し,内部化することができることを示す。
論文 参考訳（メタデータ） (2026-03-02T09:18:19Z) - Reasoning as State Transition: A Representational Analysis of Reasoning Evolution in Large Language Models [50.39102836928242]
モデルの内部状態の力学を研究するために,表現的視点を導入する。
トレーニング後、静的な初期表現品質が限られた改善しか得られないことが判明した。
論文 参考訳（メタデータ） (2026-01-31T15:23:33Z) - How and Why LLMs Generalize: A Fine-Grained Analysis of LLM Reasoning from Cognitive Behaviors to Low-Level Patterns [51.02752099869218]
大きな言語モデル(LLM)は、非常に異なる一般化の振る舞いを示す。
推論を原子核スキルに分解する新しいベンチマークを導入する。
SFTモデルはよりシャープなドリフトと表面パターンへの過度な適合を示すのに対し、RL型モデルはより安定した行動プロファイルを維持し、推論スキルの崩壊に抵抗することを示す。
論文 参考訳（メタデータ） (2025-12-30T08:16:20Z) - Reasoning Relay: Evaluating Stability and Interchangeability of Large Language Models in Mathematical Reasoning [8.01259760303241]
部分的に完了した推論連鎖が他のモデルによって確実に継続できるかどうかを検討する。
トークンレベルのログ確率しきい値を使用して、ベースラインモデルから推論を早期、中、後期に切り離します。
我々の研究は、推論モデルの新たな行動特性としてのインターチェンジビリティを示唆している。
論文 参考訳（メタデータ） (2025-12-16T02:56:44Z) - CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。
我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。
我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
論文 参考訳（メタデータ） (2025-07-10T21:32:18Z) - Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。
この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
論文 参考訳（メタデータ） (2025-03-31T10:16:03Z) - Latent Convergence Modulation in Large Language Models: A Novel Approach to Iterative Contextual Realignment [0.0]
隠れ状態遷移を制御する構造変調機構が導入された。
格子調整は、パープレキシティ変動、エントロピー分散、および語彙不安定の低減に寄与した。
論文 参考訳（メタデータ） (2025-02-10T09:46:33Z) - On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。
GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。
本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
論文 参考訳（メタデータ） (2025-01-23T16:58:18Z) - A NotSo Simple Way to Beat Simple Bench [0.0]
本稿では,大規模言語モデル(LLM)における推論能力向上のための新しい枠組みを提案する。
モデル精度とロバスト性を改善するために,グローバルな整合性チェックと組み合わせたマルチステッププロンプト戦略を提案する。
クロードは論理的整合性を維持するのに優れ, GPT-4oは探索的創造性を示すが, 曖昧なプロンプトに苦しむ。
論文 参考訳（メタデータ） (2024-12-12T16:04:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。