論文の概要: Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning

• arxiv url: http://arxiv.org/abs/2610.05200v1
• Date: Sun, 04 Oct 2026 13:13:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 22:41:08.16209
• Title: Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning
• Title（参考訳）: オーバーライトを伴わない学習:連続推論における自己拡張と微調整の理論
• Abstract要約: 大規模言語モデル(LLM)のオンライン自己蒸留(OPSD)は、以前に獲得した知識を保存しながら推論能力を向上させる能力を示した。 連続学習における後学習---OPSDと教師付き微調整(SFT)のダイナミクスの統一的理論的解析を行う。 理論的解析により, 信頼性のある連続的推論は, 事前学習中に確立した推論構造と, ポストトレーニング後の更新がどのように相互作用するかに依存することが示された。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD) of large language models (LLMs) has demonstrated the ability to improve reasoning capabilities while preserving previously acquired knowledge. Despite substantial empirical success, the dynamics of OPSD in continual reasoning remain incompletely understood. Modeling LLM reasoning as search over a directed acyclic graph, we provide a unified theoretical analysis of both the dynamics of post-training---OPSD and supervised fine-tuning (SFT) in continual learning---and the impact of pre-training on subsequent performance. Our findings establish three key insights with an optimization guarantee: (i) OPSD with hints from correct outputs enables continual learning without forgetting by sparse yet effective gradient descent updates induced by the hint structure. (ii) SFT on correct reasoning paths can lead to catastrophic forgetting due to dense updates along the training paths, which overwrite the information previously acquired. (iii) Diversity in pre-training is crucial for enabling a post-trained model to reach a correct output when a rollout starts from an intermediate state. Our results, supported by theoretical analysis, show that reliable continual reasoning depends on how post-training updates interact with the reasoning structure established during pre-training.
• Abstract（参考訳）: 大規模言語モデル(LLM)のオンライン自己蒸留(OPSD)は、以前に獲得した知識を保存しながら推論能力を向上させる能力を示した。 経験的成功にもかかわらず、連続的推論におけるOPSDのダイナミクスはいまだに完全に理解されていない。 LLM推論を有向非巡回グラフ上での探索としてモデル化し、連続学習における後学習の力学---OPSDと教師付き微調整(SFT)の両者の統一的理論的解析と、その後のパフォーマンスに対する事前学習の影響について述べる。 この結果から,最適化保証による3つの重要な知見が得られた。 i) 正しい出力からのヒント付きOPSDは、ヒント構造によって誘導される、スパースで効果的な勾配降下更新を忘れずに連続的な学習を可能にする。 (二)正しい推論経路のSFTは、以前に取得した情報を上書きした訓練経路の更新が密接なため、破滅的な忘れを招きかねない。 三 事前訓練の多様性は、中間状態からロールアウトが開始されたときに、訓練後モデルが正しい出力に到達できるようにするために不可欠である。 理論的解析により, 信頼性のある連続的推論は, 事前学習中に確立した推論構造と, ポストトレーニング後の更新がどのように相互作用するかに依存することが示された。

関連論文リスト

• Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR [15.310541977530455]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、近年の大規模推論モデルの成功の中心となっている。 RLVRはシングルサンプルの精度を大幅に改善するが、トレーニング中の限られた探索のため、本質的な推論カバレッジ(pass@k)の拡張に失敗することが多い。 列車時ロールアウトの構造設計を最適化してpass@kを拡張する。
  論文  参考訳（メタデータ） (2026-09-08T12:21:22Z)
• RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
  継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。 最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。 我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:46:11Z)
• When Can LLMs Learn to Reason with Weak Supervision? [20.990957184903575]
  大規模言語モデルは、検証可能な報酬(RLVR)による強化学習を通じて、重要な推論の改善を実現している。 我々は,3つの弱い監督条件の下で,多種多様なモデルファミリーと推論ドメインにまたがる系統的な実証的研究を行う。 一般化は、トレーニング報酬飽和ダイナミクスによって支配される。 我々は、中間ステップが最終回答を論理的に支持する範囲として定義される推論の忠実さを識別する。
  論文  参考訳（メタデータ） (2026-04-20T17:57:49Z)
• Stabilizing Reinforcement Learning for Honesty Alignment in Language Models on Deductive Reasoning [27.42733470720954]
  本研究では,地上の真実軌道をロールアウトに注入し,早期の訓練崩壊を防ぐ強化学習手法を提案する。 その結果,本手法は学習を安定させ,全体の推論性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2025-11-12T11:34:19Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Emergence of Superposition: Unveiling the Training Dynamics of Chain of Continuous Thought [64.43689151961054]
  有向グラフ到達性問題に対する簡易な2層変圧器のトレーニング力学を理論的に解析する。 分析の結果,連続的思考を用いたトレーニングでは,まずインデックスマッチングロジットが増加し,その後は軽度な仮定の下で拘束されることがわかった。
  論文  参考訳（メタデータ） (2025-09-27T15:23:46Z)
• Reasoning Bias of Next Token Prediction Training [5.188841610098436]
  次世代トークン予測(NTP)は,大規模言語モデル(LLM)の主要なトレーニングパラダイムである トレーニング中にNTPが騒音に曝露しても,推論能力は上回っていることが明らかとなった。 この逆直感的な結果は、トレーニング力学における雑音の正規化の影響に起因している。
  論文  参考訳（メタデータ） (2025-02-04T04:46:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。