論文の概要: A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2608.25643v2
• Date: Thu, 27 Aug 2026 06:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 14:16:51.861803
• Title: A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation
• Title（参考訳）: サンプル逆KLon-policy蒸留のトケンレベル解析
• Authors: Bing Shao, Jiazheng Zhang, Long Ma, Yujiong Shen, Senjie Jin, Xin Guo, Yuming Yang, Mingxu Chai, Zhiheng Xi, Boyang Liu, Junlin Shang, Tao Gui, Qi Zhang, Xuanjing Huang,
• Abstract要約: 学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
• 参考スコア（独自算出の注目度）: 59.43605629311855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) supervises a student on its own trajectories with token-level signals from a frozen teacher, yet how a sampled loss allocates updates across tokens remains poorly understood. We analyze the gradient of the per-token K2 estimator of reverse KL with respect to the student logits. The $\ell_1$ norm of this gradient factorizes into the absolute teacher--student log-probability gap and a student-side softmax factor that grows as the sampled token becomes less likely under the student. In our math-distillation runs, these per-token norms are highly non-uniform: low-student-probability tokens account for a disproportionate share of their sum and are also enriched in large teacher--student gaps. As a lightweight intervention suggested by this analysis, we study Surprise-aware Reweighting (SuRe), a detached, bounded weighting rule that further amplifies this existing allocation. Across two Qwen3 student scales, SuRe improves several math metrics over vanilla OPD and shows no clear degradation on the selected out-of-domain benchmarks. Our primary contribution is therefore a gradient-level characterization of reverse-KL OPD trained with the K2 estimator, with SuRe as one empirical instantiation.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が凍結した教師のトークンレベル信号で自分の軌跡を監督するが、どのようにしてサンプル損失がトークン間で更新を割り当てるかは理解されていない。 学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 この勾配の$\ell_1$ノルムは、絶対的な教師-学生の対数確率ギャップと学生側のソフトマックス係数に分解される。 数学蒸留では、これらの単位のノルムは非一様であり、低学生確率トークンはその合計の不均等なシェアを占め、また大きな教師のギャップに富んでいる。 この分析によって示唆される軽量な介入として、既存の割り当てをさらに増幅する分離された有界重み付け規則であるSuRe(Suprise-Aware Reweighting)について検討する。 2つのQwen3学生スケールで、SuReはバニラOPDよりもいくつかの数学メトリクスを改善し、選択されたアウトオブドメインベンチマークに明確な劣化を示す。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。

関連論文リスト

• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• OmniOPD: Logit-Free On-Policy Distillation via Speculative Verification [21.095025092772257]
  On-Policy Distillation (OPD)は、強力な教師からの密集したトークンレベルフィードバックの下で、生徒モデルを自身の生成軌道上で訓練する。 OmniOPDはロジットフリーでチャンクレベルの監視信号を通じて両方の制限に対処する新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-05-31T22:31:15Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation [4.624042537090342]
  On-Policy DistillationのKL目標に基づく学生と教師のミスマッチの最も直接的なシグナルとして,トークンタイプの高損失トークンについて検討する。 これらのトークンは、モデルの実際の推論性能に無視可能な機能的貢献を提供する。
  論文  参考訳（メタデータ） (2026-05-10T01:41:43Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)
• ToDi: Token-wise Distillation via Fine-Grained Divergence Control [9.958797874295355]
  Token-wise Distillation (ToDi) は、Sigmoid-based weighting function を用いてトークンごとのフォワードKLとリバースKLを適応的に結合する新しい方法である。 ToDiは、均一またはより粒度の低い戦略を用いて、最近の蒸留ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-22T06:51:16Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。