論文の概要: $D^2$-OPD: Separating Direction and Distance in Extrapolative On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2611.07241v1
• Date: Wed, 04 Nov 2026 23:45:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.471359
• Title: $D^2$-OPD: Separating Direction and Distance in Extrapolative On-Policy Distillation
• Title（参考訳）: $D^2$-OPD:外挿オンポリス蒸留における方向と距離の分離
• Abstract要約: オンライン蒸留(On-policy distillation、OPD)は、教師が生成したプレフィックスの次のトーケン分布と一致するように、学生モデルを訓練する。 補外的OPDは、より強力な学習目標を構築するために、参照ポリシーに対する教師の対数確率シフトをさらに拡張する。
• 参考スコア（独自算出の注目度）: 12.21260187142588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student model to match a teacher's next-token distributions on student-generated prefixes. Extrapolative OPD further extends the teacher's log-probability shift relative to a reference policy to construct stronger learning targets. However, existing methods couple extrapolation direction and distance, allowing the magnitude of the teacher's shift to dictate how far the target moves. We propose $D^2$-OPD, decoupling these two factors: a per-prefix hard KL constraint bounds the target's distance from the teacher, while an adaptive combination of the teacher's post-training shift and the initial student--teacher gap determines the extrapolation direction. We optimize the student toward this target using forward KL, providing learning signals even for low-probability tokens. We evaluate three settings: where standard OPD performs well, where it struggles with base-model initialization, and where no teacher reference is available. On mathematical reasoning benchmarks, $D^2$-OPD attains the highest score in all three settings, outperforming the strongest baseline by up to 9.45 points. Ablations validate the contributions of each component.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、教師が生成したプレフィックスの次のトーケン分布と一致するように、学生モデルを訓練する。 補外的OPDは、より強力な学習目標を構築するために、参照ポリシーに対する教師の対数確率シフトをさらに拡張する。 しかし、既存の方法には外挿方向と距離があり、教師のシフトの大きさが目標の移動距離を決定できる。 D^2$-OPDを提案し,この2つの要因を分離する: 教師から教師までの距離に固定された固いKL制約と,教師の学習後シフトと初期学生間ギャップの適応的な組み合わせが外挿方向を決定する。 我々は,この目標に向けて,フォワードKLを用いて学生を最適化し,低確率トークンに対しても学習信号を提供する。 我々は,標準PDが正常に動作する場合,ベースモデルの初期化に苦しむ場合,教師の参照がない場合の3つの設定を評価した。 数学的推論のベンチマークでは、$D^2$-OPDは3つの設定で最高点を獲得し、最強のベースラインを9.45ポイントまで上回った。 アブレーションは各コンポーネントのコントリビューションを検証する。

関連論文リスト

• OC-OPD: Observation-coordinated Supervision for On-Policy Distillation [57.924285376812755]
  Kullback--Leiblerの発散は、オン・ポリーズ蒸留における補完的な監督を提供する。 学生と教師を候補と評価者の両方として扱うことにより,4つの観測行列を形成する。 OC-OPD (Observing-coordinated on-policy distillation) では、好みの設定、勾配の調整のためのクローズドフォームバーゲティング、更新をスケールするための分布の相違が使用されている。
  論文  参考訳（メタデータ） (2026-11-01T15:02:05Z)
• Composing What Each Teacher Learned: Multi-Teacher On-Policy Distillation through Teacher-Relative Shifts [14.488126475122305]
  マルチテラーオンライン蒸留(MOPD)は2つの設定で用いられる。 共通ドメイン構成では、複数の教師が1つのプロンプトドメインから各学生のロールアウトをスコアし、その信号は1つのターゲットを形成する。 ルートドドメイン蒸留では、異なるドメインからのプロンプトが対応するスペシャリストに割り当てられる。
  論文  参考訳（メタデータ） (2026-10-07T17:27:46Z)
• REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
  REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。 信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
  論文  参考訳（メタデータ） (2026-08-12T06:15:33Z)
• PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation [1.1440940588722308]
  On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。 PAST(Privleged Adaptation from Students Trajectories)を紹介する。 PASTは、学生の蒸留プレフィックスをそのまま残しながら、各学生軌跡をOPSD教師に追加の特権情報として扱う。
  論文  参考訳（メタデータ） (2026-08-09T14:20:12Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts [48.550535291129584]
  Prefix-Guided On-Policy Distillation (PG-OPD) は、固定長プレフィックスを用いて、高価な長距離発生前に軌跡値を推定する単純なロールアウト・アロケーションフレームワークである。 AMC、AIME、HMMTベンチマークの様々な教師/学生の組み合わせで、PG-OPDはトレーニング時間を最大2.46倍にし、平均精度を4.80ポイントまで改善している。
  論文  参考訳（メタデータ） (2026-06-20T11:18:34Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。