論文の概要: Unbiased Top-$k$ Estimation for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.34447v1
• Date: Mon, 28 Sep 2026 07:03:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.482415
• Title: Unbiased Top-$k$ Estimation for On-Policy Distillation
• Title（参考訳）: オンライン蒸留の非バイアストップ$k$推定
• Abstract要約: オンライン蒸留(OPD)は、大規模言語モデル(LLM)の訓練後の重要な構成要素である。 OPDにおける逆KL分岐の勾配を推定することは依然として困難である。 学生が作成したロールアウトからのサンプルトークンのみを使用することは、計算コストが安いが、限定的な分散監視を提供する。 我々はTK-OPDのバイアスに対処するため,Tail-Corrected Top-k$ On-Policy Distillation (TT-OPD)を提案する。
• 参考スコア（独自算出の注目度）: 7.963184907894143
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) is becoming an important component of large language model (LLM) post-training for transferring the reasoning capability of a strong teacher LLM to a weaker student LLM. OPD trains the student by minimizing the reverse KL divergence between the teacher and the student via rollouts generated by the student's policy. However, estimating the gradient of the reverse KL divergence in OPD remains a challenge. Using only the sampled token from the student-generated rollout is computationally cheap but provides limited distributional supervision, which will degrade accuracy. In addition, using the full vocabulary provides complete distributional supervision but is computationally expensive. Therefore, recent works propose Top-$k$ OPD (TK-OPD) that use selected top-$k$ tokens, which provides richer distributional supervision than sampled-token estimation at substantially lower computational cost than full-vocabulary estimation. Unfortunately, using only the selected top-$k$ tokens induces bias, leading to accuracy degradation, as the probability mass outside the selected top-$k$ tokens is discarded. To address the bias of TK-OPD, we propose Tail-Corrected Top-$k$ On-Policy Distillation (TT-OPD). It preserves the advantages of TK-OPD, including rich distributional supervision and low computational cost, while providing an unbiased estimator of the gradient of the reverse KL divergence. The key insight of TT-OPD is to use not only the selected top-$k$ tokens, but also the sampled token from the student-generated rollout, thereby recovering the discarded probability mass in expectation, avoiding the bias. Experimental results demonstrate that TT-OPD significantly outperforms other tested OPD variants.
• Abstract（参考訳）: オンライン蒸留 (OPD) は, より弱い学生 LLM への強力な教師 LLM の推論能力の移転を後押しする, 大規模言語モデル (LLM) の重要な要素となっている。 OPDは、生徒の方針によって生成されたロールアウトにより、教師と生徒の間の逆KLのばらつきを最小限にして、生徒を訓練する。 しかし、OPDにおける逆KL分岐の勾配を推定することは依然として困難である。 学生が生成したロールアウトからのサンプルトークンのみを使用することは、計算コストが安いが、分散の監督が限られており、精度が低下する。 さらに、完全な語彙を用いることで、完全な分布の監視が可能になるが、計算上は高価である。 そのため、近年の研究では、Top-k$ OPD (TK-OPD) が提案されている。 残念ながら、選択された上位k$トークンのみを使用することでバイアスが発生し、選択された上位k$トークンの外側の確率質量が破棄されるため、精度が低下する。 TK-OPDのバイアスに対処するため,Tail-Corrected Top-$k$ On-Policy Distillation (TT-OPD)を提案する。 TK-OPDの利点は、分散の監督と計算コストの低さを含むとともに、逆KL分岐の勾配の非バイアス推定器を提供する。 TT-OPDの鍵となる洞察は、選択された上位k$トークンだけでなく、学生が生成したロールアウトからのサンプルトークンを使用することで、予想された確率質量を回収し、バイアスを回避することである。 実験の結果,TT-OPDは他のPD変異体よりも有意に優れていた。

関連論文リスト

• BAS-OPD: Budget-Aware Selective On-Policy Self-Distillation for Fine-Grained Multimodal Perception [39.275142281870984]
  BAS-OPDは,限られたクエリ予算の下で教師の監督を割り当てる,予算に配慮した選択型OPDフレームワークである。 BAS-OPDは教師の監督コストを大幅に削減しつつ, 高い性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-09-22T08:57:40Z)
• A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
  学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。 そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
  論文  参考訳（メタデータ） (2026-08-26T11:14:42Z)
• Tail-Aware Top-$k$ On-Policy Distillation [18.06665602564656]
  そこで我々は,欠落したテール確率信号を復元する新しい蒸留法であるTail-Aware Top-$k$ OPD (textbfTA-OPD)を提案する。 事実上、TA-OPDは生徒の次点分布と教師の分布の整合性を良くし、top-k$正規化による尾の確率とエントロピーの増加を防ぐ。
  論文  参考訳（メタデータ） (2026-08-12T20:31:49Z)
• REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
  REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。 信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
  論文  参考訳（メタデータ） (2026-08-12T06:15:33Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• KL for a KL: On-Policy Distillation with Control Variate Baseline [13.281263788199219]
  On-Policy Distillation (OPD) は、大規模言語モデルのトレーニング後の主要なパラダイムとして登場した。 本稿では,OPDを政策段階RLとするvOPDを提案する。 VOPDはバニラOPDより一貫して優れており,最も高価な全語彙ベースラインと一致している。
  論文  参考訳（メタデータ） (2026-05-08T15:24:51Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。