論文の概要: Do We Really Need KL Divergence for On-Policy Distillation of Large Language Models?

• arxiv url: http://arxiv.org/abs/2609.33791v1
• Date: Sun, 27 Sep 2026 17:40:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 16:44:48.244145
• Title: Do We Really Need KL Divergence for On-Policy Distillation of Large Language Models?
• Title（参考訳）: 大規模言語モデルのオンライン蒸留にKLの多様性は本当に必要か?
• Abstract要約: オンライン蒸留(OPD)はLLMの効率的なポストトレーニングパラダイムとして登場した。 更新方向を単純に保つだけで、効果的なOPDに十分であることを示す。 C-MOPD(Consensus Multi-Teacher On-Policy Distillation)を導入し、MOPD(Multi-Teacher On-Policy Distillation)を改善する。
• 参考スコア（独自算出の注目度）: 23.02573691175843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Since the advent of knowledge distillation, KL divergence has been the standard loss in distillation. Recently, on-policy distillation (OPD) has emerged as an efficient post-training paradigm for LLMs. As a distillation method, OPD naturally inherits KL divergence as its standard loss. However, in this work, we find that KL divergence may not be necessary for OPD. We show that simply preserving the update direction is sufficient for effective OPD. As long as the update direction is toward the teacher, OPD works. More precisely, it is not the direction of every token, but the direction of a small subset of tokens where the teacher and student disagree strongly. We first show that simply assigning a reward of (+1) to tokens where the teacher probability is higher than the student probability and (-1) where it is lower, which merely encourages updates toward the teacher, reproduces almost the same training mode as OPD with reverse KL. We further show that only the direction of a small subset of tokens with large teacher-student disagreement is critical, and training works as long as their update direction is toward the teacher, even if other tokens are pulled away from the teacher. And as an application of these findings, we introduce Consensus Multi-Teacher On-Policy Distillation (C-MOPD) to improve Multi-Teacher On-Policy Distillation (MOPD). Unlike MOPD, which routes each sample to a single teacher and may cause capability conflicts across domains, C-MOPD lets every sample be supervised by all teachers. Experiments show that C-MOPD consistently outperforms MOPD on both math and code benchmarks. Our code is available at https://github.com/LeapLabTHU/KL-Free-OPD.
• Abstract（参考訳）: 知識蒸留の出現以来、KLの分岐は蒸留における標準的な損失となっている。 近年,LLMの効率的なポストトレーニングパラダイムとして,オンライン蒸留(OPD)が登場している。 蒸留法として、PDはKL分散を標準損失として自然に継承する。 しかし,本研究では,OPDにはKLの発散は必要ない可能性がある。 更新方向を単純に保つだけで、効果的なOPDに十分であることを示す。 アップデートの方向性が教師に向けられている限り、PDは機能する。 より正確には、全てのトークンの方向ではなく、教師と学生が強く反対するトークンの小さなサブセットの方向である。 まず、(+1)の報酬を、教師の確率が生徒の確率よりも高いトークンと、(-1)低いトークンに割り当てることによって、教師に対する更新を促すだけで、逆KLでPDとほぼ同じトレーニングモードを再現できることを示す。 さらに,教師と学生の意見の不一致が大きいトークンの少数の部分のみの方向性が重要であり,他のトークンが教師から引き離された場合でも,その更新方向が教師に向かっている限り,トレーニングは機能することを示した。 また,これらの知見の応用として,コンセンサス・マルチティーラー・オン・ポリシィ蒸留 (C-MOPD) を導入し,マルチティーラー・オン・ポリシィ蒸留 (MOPD) の改善を図った。 サンプルを1つの教師にルーティングし、ドメイン間で機能衝突を引き起こすMOPDとは異なり、C-MOPDはすべてのサンプルを教師によって管理する。 実験によると、C-MOPDは算数とコードベンチマークの両方でMOPDを一貫して上回っている。 私たちのコードはhttps://github.com/LeapLabTHU/KL-Free-OPD.comで公開されています。

関連論文リスト

• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Weak-to-Strong On-Policy Distillation [21.651421588571296]
  Weak-to-Strong On-Policy Distillation (W2S-OPD)を導入した。 4つの数学と3つのコードベンチマークで、W2S-OPDはOPDを上回り、学生がドメイン教師を超越し、監督源が弱くなっても改善を続けることができる。
  論文  参考訳（メタデータ） (2026-07-28T20:31:48Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• On-Policy Delta Distillation [61.76889440384448]
  オンライン蒸留は強化学習における代替のポストトレーニング手法である。 我々は,教師の出力分布を直接模倣するのではなく,デルタ信号と呼ばれる新しい蒸留報酬を導入する。 デルタ信号はオンライン蒸留を著しく改善し、新しい蒸留法をオンポリシィデルタ蒸留(OPD$2$)と呼ぶ。
  論文  参考訳（メタデータ） (2026-07-16T16:07:19Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• OPRD: On-Policy Representation Distillation [30.278946794750976]
  オンライン蒸留(OPD)は、次の確率に合わせて出力空間でのみ学生を監督する。 本研究では,学生と教師の表現を選択層に整列させることで,蒸留を隠れ状態空間に引き上げるOn-Policy Representation Distillation (OPRD)を提案する。 OPRD は AIME 2024/2025 と AIMO の生徒と教師のギャップを埋める。
  論文  参考訳（メタデータ） (2026-06-04T11:13:01Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。