論文の概要: On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics

• arxiv url: http://arxiv.org/abs/2609.35259v1
• Date: Mon, 28 Sep 2026 14:20:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 07:11:26.095316
• Title: On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
• Title（参考訳）: オン・ポリティィ・オフ・ポリティィ・ラーニング : 蒸留ダイナミクスの体系的研究
• Abstract要約: 制御型強弱蒸留におけるロールアウトポリシーの効果について検討した。 弊社の結果は、オンラインのロールアウトが本質的に好まれる、という見方に挑戦する。
• 参考スコア（独自算出の注目度）: 46.44104273347049
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy learning has been argued to reduce catastrophic forgetting, produce sparser parameter updates, and improve generalisation. However, existing comparisons between supervised fine-tuning and reinforcement learning vary many factors simultaneously, making the contribution of rollout policy difficult to isolate. We study the effect of rollout policy in a controlled strong-to-weak distillation setting, by independently varying rollout policy, token-level KL direction, and learning rate across the Llama3 and Qwen2.5 model families and reasoning tasks spanning scientific, medical, and arithmetic domains. Our analysis reveals a nuanced picture of distillation dynamics in which rollout policy does not necessarily play a central role. Instead, token-level KL direction more clearly shapes task performance and output coverage, while learning rate governs forgetting and update sparsity. Analysis of KL gradients and experiments along a continuous student-teacher rollout-policy spectrum explain this pattern: forward KL is remarkably robust to rollout policy, with its performance stable and strong despite changes to the rollout policy, whereas reverse KL is substantially more sensitive and favours student-generated rollouts. On-policy data nevertheless improves generalisation to harder variants of the Countdown arithmetic task under both KL directions, although this advantage does not reliably persist after subsequent RLVR. Our broader conclusions remain robust to removing gradient clipping, using sampled KL estimators, and training on tasks requiring longer reasoning chains. Overall, our results challenge the view that on-policy rollouts are inherently preferable and show that their value depends critically on the objective, evaluation setting, and optimisation hyperparameters.
• Abstract（参考訳）: オン政治学習は、破滅的な忘れを減らし、スペーサーパラメータを更新し、一般化を改善することが議論されている。 しかし、教師付き微調整と強化学習の既存の比較は、同時に多くの要因が異なり、ロールアウトポリシーの貢献を分離することは困難である。 我々は,Llama3およびQwen2.5モデルファミリーにおけるロールアウトポリシー,トークンレベルKL方向,学習率を独立に変化させ,科学的,医学的,算術的な領域にまたがる推論タスクによって,制御された強弱蒸留環境でのロールアウトポリシーの効果について検討した。 本分析では, ロールアウト政策が必ずしも中心的な役割を担わない蒸留力学の微妙な描写を明らかにした。 代わりに、トークンレベルのKL方向はタスクのパフォーマンスと出力カバレッジをより明確に形成し、学習速度はスポーラリティを忘れたり更新したりする。 フォワードKLはロールアウトポリシーの変更にもかかわらず、その性能は安定し、強いが、リバースKLははるかに敏感であり、学生が生成したロールアウトを好んでいる。 それにもかかわらず、オンラインデータは、両方のKL方向のカウントダウン算術タスクのより難しい変種への一般化を改善するが、この利点はその後のRLVRの後、確実に持続しない。 より広範な結論は、勾配クリッピングの除去、サンプルKL推定器の使用、より長い推論連鎖を必要とするタスクの訓練に引き続き堅牢である。 全体としては、オン・ポリティクスのロールアウトが本質的に望ましいという考えに異議を唱え、その価値が目的、評価設定、最適化ハイパーパラメータに決定的に依存していることを示します。

関連論文リスト

• ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning [53.48426046511836]
  検証可能な報酬(RLVR)からの強化学習は、複数のポリシー更新のロールアウトを頻繁に再利用する。 本稿では,クリッピングをスムーズな2分岐シーケンスレベルカーネルに置き換えるReSPO(Reshaped Sequence Policy Optimization)を提案する。 本研究では,ReSPO が早期訓練中に長い肯定的推論軌道から効果的に学習できることを実証する。
  論文  参考訳（メタデータ） (2026-09-28T15:38:29Z)
• What are Key Factors for Updates in RL for LLM Reasoning? [41.37684066124904]
  本研究では,ロールアウト毎の勾配ステップ数によって決定される非政治的度合いの違いが,重要サンプリング率の分布とクリッピング挙動に大きく影響していることを示す。 これらの結果から, トークン群間の境界を, 重要サンプリング比の実験的分散に応じてクリッピングする適応クリップポリシー最適化 (ACPO) を提案する。
  論文  参考訳（メタデータ） (2026-06-21T16:14:46Z)
• Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization [22.479229036646156]
  検証リワードを用いた強化学習のためのPrivileged Tutoring Distillation Policy Optimizationフレームワークを提案する。 PTD-POは、生徒の方針に答えることなく、密集したガイダンスを提供する。 2Bから8BまでのLVLM実験では、PTD-POはRLVRや蒸留ベースラインより一貫して優れていた。
  論文  参考訳（メタデータ） (2026-06-05T07:43:22Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• Adaptive Layerwise Perturbation: Unifying Off-Policy Corrections for LLM RL [26.49103739671071]
  政策の不安定さやトレーニング推論ミスマッチといった非政治的な問題は、トレーニングの安定性の大きなボトルネックとなっている。 更新中に各レイヤの入力隠れ状態に小さな学習可能な摂動を注入することにより、適応層摂動(ALP)を提案する。 ALPは、更新されたポリシーが推論ポリシーから過度に逸脱することを防ぎ、推論ポリシーファミリをミスマッチノイズでカバーするようにポリシーファミリを拡大する。
  論文  参考訳（メタデータ） (2026-03-19T21:04:17Z)
• A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
  強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。 トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。 我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:47:19Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• On Proximal Policy Optimization's Heavy-tailed Gradients [150.08522793940708]
  近位政策最適化による報酬関数の勾配の重み付き性質について検討した。 本稿では,標準的なppoクリッピングの効果について検討し,グラデーションの重み付けを相殺する効果があることを示した。 3つのクリッピングトリックの代替として,高次元ロバストな推定器であるGMOMをPPOに組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-02-20T05:51:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。