論文の概要: When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
- arxiv url: http://arxiv.org/abs/2610.11291v1
- Date: Thu, 08 Oct 2026 05:54:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.821499
- Title: When Do We Need On-Policy Distillation? Distilling on Offline Student Rollouts Is Often Better
- Title（参考訳）: オンライン蒸留はいつ必要か? オフラインの学生用ロールアウトで蒸留する方が良い
- Abstract要約: 単純な選択肢であるSemi-OPDは、精度とトレーニング効率の両方でOPDより優れていることがよく示される。
17組の教師と学生のペアで、Semi-OPDは最大で+13.6%の精度と11.4倍のトレーニングスピードアップでPDを上回った。
- 参考スコア（独自算出の注目度）: 63.03571783102715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) has become increasingly popular for transferring teacher capabilities to student models. In this work, we ask a critical research question: Is on-policy sampling always beneficial for distilling arbitrary teacher-student pairs? We show that a simple alternative, Semi-OPD, which distills from offline rollouts generated by the initial student, can often outperform OPD in both accuracy and training efficiency. Across 17 teacher-student pairs ranging from 1.5B to 235B parameters, Semi-OPD outperforms OPD in 14 cases, with up to +13.6% accuracy and 11.4x training speedup. We further find that the choice between OPD and Semi-OPD depends on the alignment between the initial teacher and student, quantified by an output-token overlap ratio: OPD is beneficial only when the two are highly aligned with high overlap ratios. Our deeper investigation suggests that effective distillation requires on-policyness w.r.t. both the student and the teacher. For misaligned pairs, student rollouts can become increasingly off-policy w.r.t. the teacher as context length grows, weakening the distillation signal. In contrast, Semi-OPD is often more stable, as it distills on shorter contexts while covering full trajectories and exposing the student to more teacher-preferred tokens. Beyond proposing Semi-OPD as an efficient alternative, our work motivates the community to rethink when to use OPD and to study stronger OPD variants with meaningful teacher-student pairs.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生モデルに教師の能力を移すことで、ますます人気が高まっている。
オンラインサンプリングは、任意の教師と学生のペアを蒸留するのに常に有用か?
初等生が生み出すオフラインロールアウトから抽出する単純な方法であるSemi-OPDは、精度とトレーニング効率の両方でOPDより優れていることがよく示される。
1.5Bから235Bまでの17人の教師と学生のペアで、Semi-OPDは最大で+13.6%の精度と11.4倍のトレーニングスピードアップでPDを上回っている。
さらに, OPD と Semi-OPD の選択は, 初等教師と学生の整合性に依存し, 出力-トーケン重畳比で定量化される: 両者が高い重重重乗比で高度に整合している場合にのみ, PD が有効である。
我々のより深い調査は、効果的な蒸留には、学生と教師の両方が政治的に必要であることを示唆している。
不整合ペアに対して、学生のロールアウトは、文脈の長さが大きくなるにつれて、教師のオフ・ポリティリティ(英語版)(英語版)によって増加し、蒸留シグナルが弱まる。
対照的に、Semi-OPDはより短い文脈で蒸留し、完全な軌跡をカバーし、より教師に好まれるトークンに学生を露出させるため、より安定していることが多い。
本研究は,Semi-OPDを効果的な代替手段として提案するだけでなく,OPDをいつ使うべきか,有意義な教師と学生のペアでより強力なPD変異を研究すべきかをコミュニティに再考する動機となっている。
関連論文リスト
- On-Policy Distillation with Negative-Policy Rollouts [61.76889440384448]
オンライン蒸留(英: On-policy distillation、OPD)は、学生モデルが自身のロールアウトでより強い教師からトークンレベルの監督を取得するポストトレーニング手法である。
我々は,教師の監督と低パフォーマンスで低能力なネガティブポリシーのロールアウトを補完するNegative-Policy OPD(NP-OPD)を導入する。
NP-OPDは、OPDで使用される正の教師監督を保ちながら、負の政治的ロールアウトを通じて明確な負のシグナルを提供する。
論文 参考訳（メタデータ） (2026-10-06T07:25:03Z) - From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation [43.75423570055352]
オンライン蒸留(OPD)は、より強い教師からのフィードバックを用いて、学生を独自の推論軌道で訓練する。
より深い介入により、ロールアウトの精度が低下し、非政治負荷が増大する。
MaESTROは、教師が受け継いだときとそれが生成する時間に共同で適応するために、ローカルポリシーの不一致を使用する。
論文 参考訳（メタデータ） (2026-09-29T13:06:14Z) - Interactive-Policy Distillation with Bidirectional Propose-and-Verify [15.832994594431776]
インタラクティブ・ポリシィ蒸留(IPD)は、学生のロールアウトに適応的な教師の介入を適用する。
IPDは、より高性能な蒸留法であるだけでなく、オン・ポリティズムとオフ・ポリティズムのパラダイムの間の統一されたブリッジでもある。
数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。
論文 参考訳（メタデータ） (2026-09-29T02:32:39Z) - Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。
決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。
このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。
本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
論文 参考訳（メタデータ） (2026-09-28T16:09:06Z) - Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。
我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。
本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
論文 参考訳（メタデータ） (2026-05-29T16:12:54Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。