論文の概要: KL for a KL: On-Policy Distillation with Control Variate Baseline
- arxiv url: http://arxiv.org/abs/2605.07865v1
- Date: Fri, 08 May 2026 15:24:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.155488
- Title: KL for a KL: On-Policy Distillation with Control Variate Baseline
- Title（参考訳）: KL用KL:制御可変基線を用いたオンポリシィ蒸留
- Authors: Minjae Oh, Sangjun Song, Gyubin Choi, Yunho Choi, Yohan Jo,
- Abstract要約: On-Policy Distillation (OPD) は、大規模言語モデルのトレーニング後の主要なパラダイムとして登場した。
本稿では,OPDを政策段階RLとするvOPDを提案する。
VOPDはバニラOPDより一貫して優れており,最も高価な全語彙ベースラインと一致している。
- 参考スコア（独自算出の注目度）: 13.281263788199219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-Policy Distillation (OPD) has emerged as a dominant post-training paradigm for large language models, especially for reasoning domains. However, OPD remains unstable in practice due to the high gradient variance of its single-sample Monte Carlo estimator, and recipes for stable training are still immature. We propose vOPD (On-Policy Distillation with a control variate baseline), which casts OPD as policy-gradient RL and stabilizes it by introducing a control variate baseline-canonically a value function -- from the RL literature. We show that the OPD value function admits a closed form as the per-token negative reverse KL divergence between the student and the teacher, available directly from the already-computed forward pass with no additional critic or inference. Existing stabilization methods either compute the full token-level reverse KL over the entire vocabulary, adding significant overhead, or restrict it to a top-k support, biasing the objective. vOPD instead preserves the lightweight single-sample estimator, subtracting the value function as a detached baseline to keep the gradient unbiased while reducing variance. Furthermore, we show that a top-k approximation of the baseline further lowers cost without compromising performance. Across mathematical and scientific reasoning benchmarks, vOPD consistently outperforms vanilla OPD and matches the most expensive full-vocabulary baseline, offering an efficient stabilization of On-Policy Distillation through principled RL variance reduction.
- Abstract（参考訳）: On-Policy Distillation (OPD)は、特に推論領域において、大規模言語モデルのトレーニング後の主要なパラダイムとして登場した。
しかし, 単サンプルモンテカルロ推定器の勾配変動が大きいため, OPDは不安定であり, 安定トレーニングのレシピはまだ未熟である。
本稿では,OPDを政策段階RLとし,制御変数ベースラインを値関数として導入することにより安定化するvOPD(On-Policy Distillation with a Control Variate Baseline)を提案する。
我々は, OPD値関数が, 生徒と教師間の負の逆KL分岐として閉じた形を認め, 既に計算済みのフォワードパスから直接利用できることを示し, 追加の批判や推論を行わない。
既存の安定化手法は、完全なトークンレベルの逆KLを語彙全体にわたって計算し、大きなオーバーヘッドを加えたり、トップkサポートに制限したり、目的を偏らせる。
vOPDは代わりに軽量な単一サンプル推定器を保持し、値関数を分離されたベースラインとして減らし、勾配を偏りなく保ちながら分散を減少させる。
さらに,ベースラインをトップkで近似することで,性能を損なうことなくコストを下げることを示す。
数学的および科学的推論ベンチマーク全体で、vOPDはバニラOPDを一貫して上回り、最も高価な全語彙ベースラインと一致し、原理化されたRL分散還元によるオン・ポリシィ蒸留の効率的な安定化を提供する。
関連論文リスト
- Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective [22.848847562976633]
トークンレベルのIS比は、PPOとGRPOが採用しているように、プレフィックス状態の分布ミスマッチを無視してバイアスを導入する。
我々は、累積トークンIS比と、累積対数比の自然な$sqrtt$成長に応じて、対数空間のクリップ境界を拡大する位置適応クリッピングを組み合わせたCTPOを提案する。
論文 参考訳（メタデータ） (2026-05-08T06:35:02Z) - EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。
本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
論文 参考訳（メタデータ） (2026-04-21T14:07:39Z) - Improving Search Agent with One Line of Code [68.58667107354253]
ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。
textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
論文 参考訳（メタデータ） (2026-03-10T04:07:39Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z) - Stabilizing Reinforcement Learning for Diffusion Language Models [27.22260417844743]
グループ相対政策最適化(GRPO)は、自己回帰(AR)言語モデルの訓練後において非常に効果的である。
しかし、拡散大言語モデル(dLLM)への直接的な適用は、しばしば報酬の崩壊を引き起こす。
これらの効果は、政策ドリフトを駆動する自己強化不安定ループを形成し、さらに比の分散を増加させることを示す。
我々はDLLMに適したGRPOの再構成であるStableDRLを提案する。
論文 参考訳（メタデータ） (2026-03-06T08:55:37Z) - Rethinking the Trust Region in LLM Reinforcement Learning [72.25890308541334]
PPO(Proximal Policy Optimization)は、大規模言語モデル(LLM)のデファクト標準アルゴリズムとして機能する。
より原則的な制約でクリッピングを代用する多変量確率ポリシー最適化(DPPO)を提案する。
DPPOは既存の方法よりも優れたトレーニングと効率を実現し、RLベースの微調整のためのより堅牢な基盤を提供する。
論文 参考訳（メタデータ） (2026-02-04T18:59:04Z) - A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization [58.116300485427764]
強化学習のポストトレーニングは、大きな言語モデルにおける推論の振る舞いを引き出すことができる。
トークンレベルの補正は、オフポリシーネスの度合いが大きい場合、不安定なトレーニングダイナミクスにつながることが多い。
我々は,最小固定率 (MinPRO) を簡易かつ効果的に提案する。
論文 参考訳（メタデータ） (2026-01-30T08:47:19Z) - Shrinking the Variance: Shrinkage Baselines for Reinforcement Learning with Verifiable Rewards [12.074691741125044]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模推論モデルの訓練後において強力なパラダイムとして登場した。
本研究では,全プロンプト平均推定精度を向上させるために,全プロンプト平均値と全プロンプト平均値を組み合わせた縮小推定器を提案する。
論文 参考訳（メタデータ） (2025-11-05T18:43:15Z) - The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward [57.56453588632619]
Reinforcement Learning with Verifiable Reward (RLVR) を用いた細調整大型言語モデル(LLM)における中心的パラドックスは、多目的性能の頻繁な劣化である。
これはしばしば破滅的な忘れが伴い、モデルが以前獲得したスキルを失う。
我々は,標準RLVR目標には知識保持のための重要なメカニズムが欠如していると主張している。
論文 参考訳（メタデータ） (2025-09-09T06:34:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。