論文の概要: Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models

• arxiv url: http://arxiv.org/abs/2609.38025v1
• Date: Tue, 29 Sep 2026 17:07:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.772172
• Title: Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models
• Title（参考訳）: OPD博士:大規模言語モデルの最適オンライン蒸留法を学ぶ
• Abstract要約: オンライン蒸留(OPD)は、より強い教師から密集したトークンレベルの監督を用いて、生徒を独自の反応で訓練する。 バニラOPDは全ての教師の信号を平等に扱い、教師の監督が全てのトークンに等しく重要であると仮定する。 我々は,学生のパフォーマンスを最大化するために,最適な重み付けOPDを定義するPD博士を紹介した。
• 参考スコア（独自算出の注目度）: 31.11548536333125
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student on its own generated responses using dense, token-level supervision from a stronger teacher. Vanilla OPD treats all teacher signals equally, assuming that the teacher's supervision is equally important for every token. However, teacher signals at different tokens may have very different effects on the student's performance: some correct important reasoning errors, while others have little effect on the final answer. Motivated by this observation, we introduce Dr. OPD (OPD Done Right), which defines the optimal weighted OPD to maximize the student's performance. We formulate Dr. OPD as a bilevel optimization problem in which the student learns from weighted teacher supervision, while the weights are selected to maximize the expected reward of the resulting student. To solve Dr. OPD, we develop an efficient iterative solver that updates the token weights and student policy alternatively. At each round, it updates weights in closed form and then takes one gradient step on the resulting weighted OPD objective. Under regularity conditions, we show that this weighted update achieves a higher expected reward than a vanilla OPD update. Empirically, across strong-to-weak and same-size distillation on math and code, Dr. OPD consistently outperforms all evaluated baselines. In particular, in the strong-to-weak distillation setting, Dr. OPD improves average math performance by $9.7$ points over vanilla OPD, and enables the smaller student to surpass its larger teacher.
• Abstract（参考訳）: オンライン蒸留(OPD)は、より強い教師から密集したトークンレベルの監督を用いて、生徒を独自の反応で訓練する。 バニラOPDは全ての教師の信号を平等に扱い、教師の監督が全てのトークンに等しく重要であると仮定する。 しかし、異なるトークンの教師信号は生徒のパフォーマンスに非常に異なる影響を与えるかもしれない。 本研究の目的は,OPD(Dr. OPD, OPD Done Right)を導入し, 学生のパフォーマンスを最大化するために最適な重み付きPDを定義することである。 そこで,本論文では,重み付けされた教師の指導から学習する二段階最適化問題としてPD博士を定式化し,重み付けを選択して学生の期待する報酬を最大化する。 OPD を解くため,トークン重みと学生政策を代替的に更新する効率的な反復解法を開発した。 各ラウンドで重みをクローズドな形で更新し、その結果の重み付きPD目標の勾配ステップを踏む。 定期的な条件下では、この重み付けされた更新は、バニラOPD更新よりも高い期待の報酬が得られることを示す。 経験的には、強い弱さと、数学とコードの同じ大きさの蒸留で、PD博士は評価されたベースラインを一貫して上回っている。 特に、強弱蒸留環境では、PD博士はバニラOPDよりも平均的な数学性能を9.7ドルポイント向上させ、小学生がより大きな教師を上回ることができるようにしている。

関連論文リスト

• Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
  オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-09-28T14:49:13Z)
• When Teacher Guidance Misleads: Reward-Aligned On-Policy Distillation [21.86522736658343]
  本稿では, 教師指導の誤りを軽減するために, Reward-Aligned On-Policy Distillation (RA-OPD)を提案する。 RA-OPDは、さらなる計算コストを必要とせずに、より信頼性の高い軌道を選択し、生徒モデルの性能を向上させる。 我々は,Qwen3ファミリーとDeepSeek-R1ファミリーのモデルを用いて,数学とコードベンチマークのRA-OPDを評価する。
  論文  参考訳（メタデータ） (2026-08-28T06:05:50Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Reward-Gated On-Policy Distillation [58.187458236302575]
  オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。 RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。 RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
  論文  参考訳（メタデータ） (2026-07-04T21:51:22Z)
• On the Position Bias of On-Policy Distillation [19.36735875165262]
  IW-OPD (Importance-Weighted On-Policy Distillation) は, OPD (On-Policy Distillation) よりもはるかに早く収束することを示す。 IW-OPDは、同じサイズとクロススケールの両方で標準のPDよりも優れた最終性能を実現し、AIME-2025では6.9ポイントまで性能が向上した。
  論文  参考訳（メタデータ） (2026-06-21T17:20:21Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。