論文の概要: Recursive Self-Improvement via On-Policy Distillation for Reasoning

• arxiv url: http://arxiv.org/abs/2609.30652v1
• Date: Fri, 25 Sep 2026 00:42:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.175925
• Title: Recursive Self-Improvement via On-Policy Distillation for Reasoning
• Title（参考訳）: オンライン蒸留による再帰的自己改善
• Abstract要約: オンライン蒸留は、学生モデルに軌道を発生させ、次に次の学習予測と外部教師の次の学習予測を一致させることで訓練する。 学生モデルの第二の凍結されたコピーは、現在その文脈において基礎的な真実が与えられ、教師として機能している。 生徒モデルは問題を受け取り、特権を持つ教師モデルを模倣することを学ぶが、教師はトレーニングを通して凍結している。
• 参考スコア（独自算出の注目度）: 15.999152579037556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student model by having it generate trajectories, then matching its next-token predictions with an external teacher's next-token predictions. This provides dense, token-level supervision to the student. On-policy self-distillation (OPSD) eliminates the need for the external teacher. Specifically, a second frozen copy of the student model, now given the ground truth in its context, serves as the teacher. The student model only receives the problem and learns to mimic the privileged teacher model, while the teacher remains frozen throughout training. Previous work showed that freezing the teacher is useful for training stability, but we argue that this can prevent the teacher from incorporating the improvements learned by the student during training. Our primary contribution is to address this limitation with a recursive framework built around two complementary components. First, we let the privileged teacher co-evolve with the student so that revision learned in one round can guide the next, a process we refer to as Dynamic Co-Evolution (DCE). Second, because stronger revision can also make responses too verbose and self-critical, we additionally train on shorter, verified rewrites of the model's own on-policy responses. We call this complementary objective Self-Refined Concise Learning (SRCL). Overall, our comprehensive evaluations show that DCE+SRCL outperforms OPSD across multiple model scales and four competition-level mathematics benchmarks. Specifically, on Qwen3-8B, DCE+SRCL reaches 65.97% Average@12, outperforming OPSD by 35.62 percentage points while reducing mean output length by 7.80% relative to DCE alone.
• Abstract（参考訳）: オンライン蒸留(英語版)(OPD)は、学生モデルに軌跡を発生させ、次の学習予測と外部教師の次の学習予測とを一致させることで訓練する。 これは学生に密集したトークンレベルの監督を提供する。 On-policy self-distillation (OPSD)は、外部教師の必要性を排除する。 特に、学生モデルの第二の凍結したコピーは、現在その文脈において基礎的な真実が与えられ、教師として機能している。 生徒モデルは問題を受け取り、特権を持つ教師モデルを模倣することを学ぶが、教師はトレーニングを通して凍結している。 以前の研究では,教師の凍結は訓練の安定性に有用であることが示されていたが,教師が訓練中に学習した改善を取り入れることを防ぐことができると論じている。 私たちの主な貢献は、この制限に2つの補完的なコンポーネントを中心に構築された再帰的なフレームワークで対処することです。 まず、特権のある教師が生徒と共同開発して、一ラウンドで学んだリビジョンが次を導くことができるようにし、それを動的共進化(Dynamic Co-Evolution, DCE)と呼ぶ。 第二に、より強いリビジョンは、応答を冗長で自己批判的にもするので、モデル自身のオンポリシー応答の、より短く、検証されたリライトをトレーニングします。 この補完的な目的をSRCL(Self-Refined Concise Learning)と呼ぶ。 総合評価の結果、DCE+SRCLは複数のモデルスケールと4つの競合レベルの数学ベンチマークでOPSDを上回っていることがわかった。 具体的には、Qwen3-8Bでは、DCE+SRCLが平均65.97%のAverage@12に達し、OPSDを35.62ポイント上回り、平均出力長をDCE単独と比較して7.80%削減する。

関連論文リスト

• Beyond the Best Teacher: Expanding and Compressing the Reasoning Solution Manifold [4.090731563364332]
  我々は、強化学習ポリシーをマルチベース推論解多様体の局所的なプローブと見なすべきであると主張する。 本稿では,教師が多教師政策の蒸留で構築する拡張型圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-30T07:05:37Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Less is More: Early Stopping Rollout for On-Policy Distillation [39.392596318514244]
  早期停止ロールアウト(Early Stopping Rollout, ESR)は, ロールアウト生成を第1応答トークンに限定した簡易かつ効果的な蒸留戦略である。 その結果,ESRはモデルサイズ,家族,タスク,トレーニング体制全体にわたって,フルロールアウトのOPD性能を上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-05-26T13:49:37Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning [2.9029480541171107]
  そこで我々は, 自己蒸留を推論するための効果的な新しい軸として, 適応型教師曝露を提案する。 適応型自己蒸留(ATESD)は, 競争力のある自己蒸留とRLベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-12T03:15:58Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。