論文の概要: Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation

• arxiv url: http://arxiv.org/abs/2605.16826v1
• Date: Sat, 16 May 2026 06:05:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.111141
• Title: Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation
• Title（参考訳）: KLと軌道の分離:LDM蒸留におけるSFT, DAgger, オフラインRL, OPDの統一的展望
• Authors: Anhao Zhao, Haoran Xin, Yingqi Fan, Junlong Tong, Wenjie Li, Xiaoyu Shen,
• Abstract要約: 本研究は, プレフィックスソースとトークンレベルKL方向の2つの選択肢を暗黙的に分けた, 代表的なパラダイム, オフ・ポリケーション蒸留, オン・ポリケーション蒸留について述べる。 KL混合とエントロピーゲート長のカリキュラムを提案する。
• 参考スコア（独自算出の注目度）: 15.564152482735652
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation is central to LLM post-training, yet its design space remains poorly understood, especially alongside reinforcement learning (RL). We show that the prevailing paradigms, off-policy distillation and on-policy distillation (OPD), implicitly couple two orthogonal choices: prefix source and token-level KL direction. This follows from decomposing sequence-level KL over autoregressive response distributions: forward KL pairs teacher prefixes with token-level forward KL, and reverse KL pairs student prefixes with token-level reverse KL. We argue this coupling is not intrinsic: decoupling the two axes yields four valid objectives. We establish gradient-level identities showing forward KL gives SFT-style cross-entropy matching with teacher soft targets, whereas reverse KL gives an RL-style policy-gradient objective with a dense teacher-student log-ratio reward, connecting them to off-policy SFT, DAgger-style on-policy SFT, offline-RL-style distillation, and OPD. We conduct an extensive controlled study on math reasoning, evaluating the four objectives both as standalone methods and as initializations for subsequent RL. The results reveal three tradeoffs: KL direction induces an accuracy-entropy tradeoff, prefix source a quality-compute tradeoff, and training length an accuracy-stability tradeoff. Motivated by these findings, we propose KL mixing and an entropy-gated length curriculum. KL mixing shows long-sequence distillation requires substantial forward-KL weight to prevent entropy collapse and length inflation without sacrificing accuracy. The entropy-gated length curriculum improves Avg@k and Pass@k by 3.6 and up to 5.8 points, and cuts average response length by roughly 3x versus fixed long-horizon training. Our results provide a framework and practical methods for designing reasoning distillation objectives that balance accuracy, diversity, compute, and RL behavior.
• Abstract（参考訳）: 知識蒸留はLLMのポストトレーニングの中心であるが、その設計空間は特に強化学習(RL)とともによく理解されていない。 本研究は, プレフィックスソースとトークンレベルのKL方向の2つの直交選択を暗黙的に組み合わせた, 代表的なパラダイムである, オフ・ポリケーション蒸留とオン・ポリケーション蒸留(OPD)について述べる。 フォワードKLペア 教師プレフィックスとトークンレベルのフォワードKL、逆KLペア 学生プレフィックスとトークンレベルのリバースKL。 この結合は本質的ではなく、2つの軸を分離することは4つの有効な目的をもたらす。 我々は,KLが教師のソフトターゲットとSFTスタイルのクロスエントロピーマッチングを与えるのに対して,逆KLは教師と学生の対数比の報酬が密集したRLスタイルのポリシー段階の目標を与え,それらをオフポリチックSFT,DAggerスタイルのオンポリチックSFT,オフラインRLスタイルの蒸留,PDに接続する。 本研究は,4つの目的を独立手法およびその後のRLの初期化として評価し,数学推論に関する広範囲にわたる制御研究を行う。 KL方向は精度エントロピートレードオフ、プレフィックスソースは品質計算トレードオフ、トレーニング長は精度安定トレードオフである。 これらの結果から,KL混合とエントロピーゲート長のカリキュラムを提案する。 KL混合は、エントロピー崩壊や長さのインフレーションを精度を犠牲にすることなく防止するため、長い系列の蒸留には相当な前方KL重量を必要とすることを示している。 エントロピーゲート長のカリキュラムは、Avg@kとPass@kを3.6、最大5.8ポイント改善し、平均応答長を、固定長水平トレーニングと比較して約3倍削減する。 本研究は, 精度, 多様性, 計算量, およびRLの挙動のバランスをとる蒸留目的の推論を設計するための枠組みと実践的手法を提供する。

関連論文リスト

• TRACE: Distilling Where It Matters via Token-Routed Self On-Policy Alignment [20.277178104190536]
  On-policy self-distillation (self-OPD)は、政策が特権的文脈下で自らを教えることによって、強化学習を検証可能な報酬(RLVR)で強化する。 本稿では, 注釈付き臨界スパンのみを蒸留する, 臨界rEasoning (TRACE) のためのToken-Routed Alignmentを提案する。 我々の分析では、TRACEは2つの効果によって説明されている: フォワードKLは、学生が下位に配置する教師支援トークンに対して、無消毒リフトを提供するが、マスキングと崩壊は累積特権-段階的露出を有限に保っている。
  論文  参考訳（メタデータ） (2026-05-11T08:45:03Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Entropy-Aware On-Policy Distillation of Language Models [36.60992451188347]
  エントロピーを意識したオン・ポリシィ蒸留について紹介する。 我々のキーとなる考え方は、教師のエントロピーが高い場合、標準逆KL目標を前方KLに増強することである。 モデム探索精度とモデム探索精度のバランスを保ち、モデムの訓練効率を犠牲にしない。
  論文  参考訳（メタデータ） (2026-03-07T07:26:18Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• On the Design of KL-Regularized Policy Gradient Algorithms for LLM Reasoning [59.11784194183928]
  政策勾配アルゴリズムは大規模言語モデル(LLM)の推論能力の向上に成功している。 規則化されたポリシーグラディエント(RPG)ビューは、広く使われている$k_3$ペナルティが、正確には非正規化されたKLであることを示している。 RPG-REINFORCE with RPG-Style Clipは、DAPOよりも最大6ドル以上の絶対パーセンテージポイントの精度を向上させる。
  論文  参考訳（メタデータ） (2025-05-23T06:01:21Z)
• Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
  論文  参考訳（メタデータ） (2025-03-11T04:43:33Z)
• Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models [18.870276152694245]
  Kullback-Leiber分散は、Large Language Models (LLM) の圧縮に知識蒸留 (KD) で広く使われている。 以前のアサーションとは対照的に、逆クルバック・リブラー(英語版)(RKL)の発散はモード探索であり、したがって平均シーキング前方クルバック・リブラー(英語版)(FKL)の発散よりも好ましい。 本稿では,FKLとRKLを組み合わせるために重みを適応的に割り当てる,単純で効果的な適応型Kulback-Leiber(AKL)分散法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T11:40:17Z)
• Decoupled Kullback-Leibler Divergence Loss [90.54331083430597]
  我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。 我々はKL/DKLにクラスワイドなグローバル情報を導入し、個々のサンプルからバイアスを取ります。 提案手法は,新たな最先端の対人ロバスト性を公衆のリーダーボード上で実現する。
  論文  参考訳（メタデータ） (2023-05-23T11:17:45Z)
• RL with KL penalties is better viewed as Bayesian inference [4.473139775790299]
  我々は、言語モデルを強化学習ポリシーとして扱う際の課題を分析する。 これらの課題を避けるには、どのようにしてRLパラダイムを超えていく必要があるかを示します。
  論文  参考訳（メタデータ） (2022-05-23T12:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。