論文の概要: Bernoulli On-Policy Distillation: Don't Ignore High-Confidence Student Tokens
- arxiv url: http://arxiv.org/abs/2611.02093v1
- Date: Sun, 01 Nov 2026 18:06:42 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:44:37.17974
- Title: Bernoulli On-Policy Distillation: Don't Ignore High-Confidence Student Tokens
- Title（参考訳）: ベルヌーイ・オン・ポリティシィ蒸留:高信頼の学生に注意を喚起するな
- Abstract要約: オンライン蒸留(On-policy distillation、OPD)は、より強い教師からのトークンレベルの監督を用いて、学生言語モデルを独自の軌道上で訓練する。
本稿では,Bernolli On-Policy Distillation (Bernoulli OPD)を紹介する。
- 参考スコア（独自算出の注目度）: 16.974190082358348
- License:
- Abstract: On-policy distillation (OPD) trains a student language model on its own trajectories using token-level supervision from a stronger teacher. We show that standard sampled reverse-KL OPD systematically suppresses updates to high-confidence tokens, such that their weak gradient contribution does not necessarily imply weak or uninformative teacher supervision. We introduce Bernoulli On-Policy Distillation (Bernoulli OPD), which directly matches the teacher and student probabilities for that token. This yields a bounded probability space correction that preserves teacher-student disagreement while avoiding the additional confidence-dependent suppression induced by vanilla OPD. Fixed-rollout analyses show that Bernoulli OPD substantially restores optimization signal to high-confidence tokens while remaining sensitive to teacher-student disagreement. We further analyze the resulting model behavior through confidence distributions, answer calibration, policy movement, and training dynamics, showing that Bernoulli OPD's gains cannot be explained simply by longer reasoning, larger optimization steps, or more uniform imitation of the teacher. Code is available at https://github.com/duterscmy/Bernoulli-OPD.
- Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、より強い教師からのトークンレベルの監督を用いて、学生言語モデルを独自の軌道上で訓練する。
我々は,標準サンプル逆KL OPDが高信頼トークンの更新を体系的に抑制することを示す。
本稿では,Bernolli On-Policy Distillation (Bernoulli OPD)を紹介する。
これにより、教師と学生の意見の不一致を保ちつつ、バニラOPDによって引き起こされる追加の信頼依存性の抑制を回避できる有界な確率空間補正が得られる。
固定ロールアウト分析では、Bernolli OPDは教師と学生の意見の不一致に敏感なまま、最適化信号を高信頼トークンに実質的に復元する。
さらに,信頼性分布,回答キャリブレーション,政策運動,トレーニングダイナミクスを通じて得られたモデル行動を分析し,Bernulli OPDの利得は,より長い推論,より大きな最適化ステップ,あるいは教師のより均一な模倣によって説明できないことを示す。
コードはhttps://github.com/duterscmy/Bernoulli-OPD.comで入手できる。
関連論文リスト
- On-Policy Distillation with Negative-Policy Rollouts [61.76889440384448]
オンライン蒸留(英: On-policy distillation、OPD)は、学生モデルが自身のロールアウトでより強い教師からトークンレベルの監督を取得するポストトレーニング手法である。
我々は,教師の監督と低パフォーマンスで低能力なネガティブポリシーのロールアウトを補完するNegative-Policy OPD(NP-OPD)を導入する。
NP-OPDは、OPDで使用される正の教師監督を保ちながら、負の政治的ロールアウトを通じて明確な負のシグナルを提供する。
論文 参考訳（メタデータ） (2026-10-06T07:25:03Z) - Gains and Collapse in On-Policy Distillation:A Reinforcement Learning Perspective [25.795747159000808]
オンライン蒸留(OPD)は,学習後の言語モデルにおいて重要なアプローチとなっている。
我々は,OPDが生徒の能力を拡張することなく性能を向上させることを示す。
暗黙の報酬モデルが信頼できる場合、OPDは正しい応答をサンプリングしやすくする。
報酬のハッキングは、暗黙の報酬モデルが過度に長く反復的な学生のロールアウトを増幅するときに起こる。
論文 参考訳（メタデータ） (2026-10-02T11:57:36Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
生のKL不一致が学習価値の粗いプロキシであることを示す。
我々はこの局所的な互換性をトークンの教育可能性として定式化する。
軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
論文 参考訳（メタデータ） (2026-05-26T10:56:46Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。
推定器と実装側からOPDを再検討する。
不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
論文 参考訳（メタデータ） (2026-03-26T15:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。