論文の概要: Tail-Aware Top-$k$ On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2608.14728v1
• Date: Wed, 12 Aug 2026 20:31:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.053222
• Title: Tail-Aware Top-$k$ On-Policy Distillation
• Title（参考訳）: タイル・アウェア トップ・ドル オン・ポリシィ蒸留
• Abstract要約: そこで我々は,欠落したテール確率信号を復元する新しい蒸留法であるTail-Aware Top-$k$ OPD (textbfTA-OPD)を提案する。 事実上、TA-OPDは生徒の次点分布と教師の分布の整合性を良くし、top-k$正規化による尾の確率とエントロピーの増加を防ぐ。
• 参考スコア（独自算出の注目度）: 18.06665602564656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) has emerged as an effective paradigm for transferring knowledge between language models, where a student is trained to align its next-token distribution with the teacher's along its own trajectories. To provide dense supervision at tractable cost, many works minimize the reverse Kullback-Leibler (KL) divergence between the student and teacher's normalized distributions over the teacher's top-$k$ tokens. However, this normalized objective discards the information about tail probability: the total probability outside the teacher's top-$k$ tokens. As a result, the optimization can steadily increase the student's tail probability and entropy, empirically degrading downstream accuracy. To address this issue, we propose Tail-Aware Top-$k$ OPD (\textbf{TA-OPD}), a novel distillation method that restores the missing tail probability signal. In particular, TA-OPD minimizes the reverse KL divergence over the top-$k$ tokens plus a tail token that carries the tail probability. In effect, TA-OPD better aligns the student's next-token distribution with the teacher's, preventing the increase in tail probability and entropy caused by top-$k$ normalization. Extensive experiments demonstrate the superiority of TA-OPD, improving Avg@8 by up to 8.05 points on common benchmarks. Our code is available at https://github.com/HuipengHuang/TA-OPD.
• Abstract（参考訳）: オンライン蒸留(OPD)は言語モデル間で知識を伝達するための効果的なパラダイムとして現れており、そこでは学生が教師の軌跡に沿って次の配当を整列するように訓練されている。 トラクタブルコストで密集した監視を実現するため、多くの研究は、教師の上位k$トークン上の教師の正規分布と教師の正規分布の間の逆のKL(Kulback-Leibler)のばらつきを最小限に抑える。 しかし、この正規化された目的は、教師の上位k$トークンの外側の総確率であるテール確率に関する情報を捨てる。 その結果、最適化は生徒の尾の確率とエントロピーを着実に増加させ、下流の精度を実証的に低下させる。 この問題に対処するために,欠落したテール確率信号を復元する新しい蒸留法であるTail-Aware Top-$k$ OPD (\textbf{TA-OPD})を提案する。 特に、TA-OPDは、トップ$kのトークンとテール確率を持つテールトークンの逆KL分散を最小化する。 事実上、TA-OPDは生徒の次点分布と教師の分布の整合性を良くし、top-k$正規化による尾の確率とエントロピーの増加を防ぐ。 大規模な実験では、TA-OPDの優位性を実証し、一般的なベンチマークでAvg@8を最大8.05ポイント改善した。 私たちのコードはhttps://github.com/HuipengHuang/TA-OPD.comで公開されています。

関連論文リスト

• Tail-Likelihood Reinforcement Learning [63.90013981311359]
  Tail-Likelihood Reinforcement Learning (TailRL)は、ランダムに選択された報酬閾値を超える対数確率を最大化する。 TailRLは、利点関数に簡単な修正しか必要とせず、既存の強化学習パイプラインと互換性がある。
  論文  参考訳（メタデータ） (2026-09-02T14:54:45Z)
• Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation [17.01350720731129]
  影響指向型適応型オンポリシィ蒸留(IDA-OPD)を提案する。 IDA-OPDはエントロピー適応型更新を保存し、エントロピー圧縮型更新をばらつき拡大による利点縮小に置き換える。 推論指向蒸留の実験では、IDA-OPDはパス@k$を一貫して改善し、蒸留を通じて教師の多様性を継承する。
  論文  参考訳（メタデータ） (2026-08-30T15:22:46Z)
• REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
  REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。 信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
  論文  参考訳（メタデータ） (2026-08-12T06:15:33Z)
• ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
  我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。 我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-11T13:27:56Z)
• SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation [28.886137823815826]
  Sparse Probing and Outcome-calibrated Targets OPD (SPOT)を紹介する。 SPOTは、取得-探索-探索-探索手順を通じて、どこで調査し、何を蒸留するかという2つの複合的な決定に対処する。 複数の学生モデルと推論ベンチマークによる実験は、SPOTの有効性を実証している。
  論文  参考訳（メタデータ） (2026-08-05T03:59:24Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Bayesian Best-Arm Identification with Abstention: A Polynomial-to-Exponential Phase Transition [51.253617466579335]
  本研究では,学習者が端末の推薦を控えることができるベイジアン固定予算のベストアーム識別問題について検討する。 本研究は,非検出誤りの確率を解析し,吸収を伴わない準最適腕を推奨するリスクについて考察する。
  論文  参考訳（メタデータ） (2026-06-28T05:07:27Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
  生のKL不一致が学習価値の粗いプロキシであることを示す。 我々はこの局所的な互換性をトークンの教育可能性として定式化する。 軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
  論文  参考訳（メタデータ） (2026-05-26T10:56:46Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)
• Don't Ignore the Tail: Decoupling top-K Probabilities for Efficient Language Model Distillation [50.19746127327559]
  教師モデルのトップK予測確率と低確率予測確率の寄与を分離する新しいテールアウェア分岐を提案する。 実験により, 改良蒸留法は, デコーダモデルの事前学習と教師付き蒸留の両方において, 競争性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-02-24T11:54:06Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。