論文の概要: Escaping the KL Agreement Trap in On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2606.09471v1
- Date: Mon, 08 Jun 2026 13:28:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:07.089011
- Title: Escaping the KL Agreement Trap in On-Policy Distillation
- Title（参考訳）: オンライン蒸留におけるKL協定の回避
- Authors: Haoran Xin, Anhao Zhao, Ying Sun, Jin Li, Xiaoyu Shen, Hui Xiong,
- Abstract要約: 動的トレーニング適応しきい値と持続的低KL一致を検出するオンラインPD終了規則を提案する。
KATは、avg@kの精度を2.66%、pass@kを3.43%改善し、平均ロールアウト期間を59.73%短縮した。
- 参考スコア（独自算出の注目度）: 23.908556717663057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) provides dense token-level supervision by asking a teacher to score student-generated rollouts. However, when the student drifts into an unrecoverable prefix, the teacher may locally agree with the degraded state, producing low reverse KL but little corrective training signal. We identify this persistent regime as a low-KL agreement trap. Further analyses show that tokens during and after such traps produce less useful supervision signals. We propose KAT (KL Agreement Trap Termination), an online OPD termination rule that detects persistent low-KL agreement with a dynamic training-adaptive threshold. By filtering weak supervision from degenerate agreement, KAT improves avg@k accuracy by 2.66% and pass@k by 3.43% across four mathematical benchmarks, while reducing average rollout length by 59.73%.
- Abstract（参考訳）: オンライン蒸留(OPD)は、教師に学生が生み出すロールアウトのスコアを付けることで、密集したトークンレベルの監督を提供する。
しかし、学習者が回復不能な接頭辞に流れ込むと、教師は劣化した状態に局所的に同意し、低逆のKLを生成するが、補正訓練信号は得られない。
我々は、この永続的な体制を低KL合意トラップとみなしている。
さらなる分析により、これらのトラップの前後のトークンは、より有用な監視信号を生み出すことが示されている。
KAT(KL Agreement Trap Termination)は、動的トレーニング適応しきい値と持続的な低KL一致を検出するオンラインOPD終端ルールである。
退化合意から弱い監督をフィルタリングすることで、KATは4つの数学ベンチマークでavg@kの精度を2.66%、pass@kの精度を3.43%改善し、平均ロールアウトの長さを59.73%削減した。
関連論文リスト
- Bridging Reasoning Trajectories in On-Policy Distillation via Near-Future Guidance [10.04930078540686]
On-Policy Distillation(英語版)は、教師の監督のもと、自身の方針からサンプリングされた軌道上の学生モデルを訓練することにより、大きな言語モデル推論を改善する。
この「軌跡サンプリング型だがトークン学習型」機構は,教師の軌跡に対する生徒の軌跡を確実に橋渡しできないことを示す。
提案するトラジェクティブ・アウェアPDは,近未来のトラジェクトリ情報を用いて,現実の発散状態を識別し,将来的なトークン間でガイダンスを配布する。
論文 参考訳（メタデータ） (2026-05-29T19:32:07Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - TRACE: Distilling Where It Matters via Token-Routed Self On-Policy Alignment [20.277178104190536]
On-policy self-distillation (self-OPD)は、政策が特権的文脈下で自らを教えることによって、強化学習を検証可能な報酬(RLVR)で強化する。
本稿では, 注釈付き臨界スパンのみを蒸留する, 臨界rEasoning (TRACE) のためのToken-Routed Alignmentを提案する。
我々の分析では、TRACEは2つの効果によって説明されている: フォワードKLは、学生が下位に配置する教師支援トークンに対して、無消毒リフトを提供するが、マスキングと崩壊は累積特権-段階的露出を有限に保っている。
論文 参考訳（メタデータ） (2026-05-11T08:45:03Z) - Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level [23.59808224440603]
オンライン蒸留(OPD)は、トークンレベルの教師のフィードバックで生徒を自身の軌道で訓練する。
その標準的優位重み付け政策勾配は、高分散更新、ゼロアドバンテージ領域での勾配の消失、補正信号が不十分な場合の探索ボトルネックなどの3つの構造的弱点に悩まされている。
正の強化学習を保ちつつ,非正の負の強化を非正の利得領域における局所的な発散最小化に置き換える非対称オンポリシィ蒸留(AOPD)を提案する。
論文 参考訳（メタデータ） (2026-05-07T15:02:49Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z) - Distillation Traps and Guards: A Calibration Knob for LLM Distillability [54.90137955363471]
そこで本研究では,教師の蒸留性を制御するためのポストホック校正法を提案する。
我々の目標は、タスクユーティリティ、KLアンカー、およびクロストケナイザーキャリブレーション報酬を組み合わせることである。
実験により、蒸留可能な教師から蒸留した学生は、SFTおよびKDベースラインを上回っていることが示された。
論文 参考訳（メタデータ） (2026-04-21T01:22:35Z) - Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。
既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。
本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
論文 参考訳（メタデータ） (2026-02-26T00:20:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。