論文の概要: Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning
- arxiv url: http://arxiv.org/abs/2608.16333v1
- Date: Mon, 17 Aug 2026 09:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.622946
- Title: Step-Level On-Policy Distillation: Interpolating Between On-Policy Distillation and Supervised Fine-Tuning
- Title（参考訳）: ステップレベル・オン・ポリシィ蒸留--オン・ポリシィ蒸留とスーパーバイザード・ファインチューニングの補間
- Abstract要約: オンライン蒸留(On-policy distillation、OPD)は、学生モデルと教師のロジット分布を学生が生成した軌跡に整合させる。
標準的なトークンレベルPDは、誤った学生軌道に沿って断片化された修正しか提供できない。
我々は,教師付き微調整の長期的補正とOPDのオン・ポリティクス的優位性を組み合わせたemphStep-Level On-Policy Distillation (SOPD)を提案する。
- 参考スコア（独自算出の注目度）: 25.14117376141824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) aligns a student model with a teacher's logit distribution on student-generated trajectories. This approach has achieved strong empirical gains and can often surpass conventional off-policy distillation with substantially less data. However, standard token-level OPD can provide only fragmented corrections along an erroneous student trajectory and cannot unfold a complete and correct repair path. Motivated by this limitation, we propose \emph{Step-Level On-Policy Distillation} (SOPD), which combines the long-horizon correction of supervised fine-tuning (SFT) with the on-policy advantage of OPD to provide step-level supervision over complete student-generated trajectories. We show that, at different limits of step length, SOPD reduces to SFT or approximates OPD. Compared with SFT, the teacher responses in SOPD are conditioned on student trajectories and therefore align more closely with student-visited states; compared with OPD, SOPD provides longer-horizon corrections rather than fragmented token-level guidance. Across both reasoning and agent tasks, SOPD substantially outperforms conventional SFT and OPD. For example, on ALFWorld, SOPD improves the average success rate by 13.4 points over Vanilla OPD. We hope this work offers a new perspective for future research on distillation methods.
- Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、学生モデルと教師のロジット分布を学生が生成した軌跡に整合させる。
このアプローチは強い経験的利益を達成し、しばしばデータ量が大幅に少ない従来のオフポリーズ蒸留を超越する可能性がある。
しかし、標準的なトークンレベルPDは、誤った学生軌道に沿って断片化された修正しか提供できず、完全かつ正しい修復経路を展開できない。
この制限により, 教師付き微調整(SFT)の長期的補正と, OPDのオン・ポリティクスの利点を組み合わせ, 学生が生成した軌道の段階的監視を図った \emph{Step-Level On-Policy Distillation} (SOPD) を提案する。
ステップ長の異なる限界において、SOPD は SFT に還元されるか、OPD に近似されることを示す。
SFTと比較して、SOPDの教師の反応は学生の軌道上で条件付けられており、学生が訪問する状態とより密接に一致している。
推論タスクとエージェントタスクの両方において、SOPDは従来のSFTとOPDを大きく上回っている。
例えば、ALFWorldでは、SOPDはバニラOPDよりも平均的な成功率を13.4ポイント向上させる。
本研究が今後, 蒸留法研究の新たな視点を提供することを期待している。
関連論文リスト
- DreOPD: Degraded-Reference Extrapolative On-Policy Distillation for Flow-matching Models [11.299607850340607]
DreOPDは、フローマッチングモデルのための分解参照補間OPD法である。
DreOPD は OPD とマルチタスク RL のベースラインを平均性能で上回ることを示す。
論文 参考訳（メタデータ） (2026-08-10T07:55:57Z) - Simple-OPD: Demystifying Warm-up for On-policy Distillation [51.693357695326846]
オンライン蒸留(On-policy distillation、OPD)は、教師モデルからトークンレベルの監督を受け、生徒を自身のロールアウトで訓練する。
データとトレーニングの両方の観点から、OPDのウォームアップをデミスティフィケートします。
論文 参考訳（メタデータ） (2026-08-07T04:47:38Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。
SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。
エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
論文 参考訳（メタデータ） (2026-06-17T23:58:14Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Trajectory-Refined Distillation [25.346810464266497]
トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。
TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
論文 参考訳（メタデータ） (2026-06-07T03:17:25Z) - Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。
我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。
本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
論文 参考訳（メタデータ） (2026-05-29T16:12:54Z) - SOD: Step-wise On-policy Distillation for Small Language Model Agents [32.49707795291693]
ツール統合推論は、小さな言語モデルにスケールすることが難しい。
近年,教師から密集したトークンレベルの監督を施すことで,オンライン蒸留が普及している。
スモールランゲージモデルエージェントのための段階的オンライン蒸留フレームワークであるSODを提案する。
論文 参考訳（メタデータ） (2026-05-08T13:30:42Z) - Rubric-based On-policy Distillation [62.11106822527392]
オンライン蒸留(OPD)はモデルアライメントの強力なパラダイムであるが、教師のロジットに依存しているため、ホワイトボックスのシナリオへの適用が制限される。
構造化された意味ルーブリックは教師のロジットに代わるスケーラブルな代替品として機能し,教師が生成した応答のみを用いてOPDを可能にする。
具体的には、ROPDは教師と学生のコントラストからプロンプト固有のルーリックを誘導し、これらのルーリックを使用して学生のロールアウトをオンライン最適化に活用する。
論文 参考訳（メタデータ） (2026-05-08T07:52:15Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z) - Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation [7.2992280064983825]
オンライン蒸留(OPD)は、大規模言語モデルの効率的な後訓練パラダイムとして登場した。
標準PDは、トレーニングを通してライブの教師推論サーバーを必要とし、その結果、かなりのインフラストラクチャーオーバーヘッドを発生させる。
我々は,教師の対数確率をSFTロールアウトにプリ計算することで教師の一貫性を強制するオフラインのオンライン蒸留フレームワークであるLightning OPDを提案する。
論文 参考訳（メタデータ） (2026-04-14T17:44:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。