論文の概要: Mismatch Matters: On-Policy Distillation Beyond Token Agreement
- arxiv url: http://arxiv.org/abs/2608.09836v1
- Date: Mon, 10 Aug 2026 16:53:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.390331
- Title: Mismatch Matters: On-Policy Distillation Beyond Token Agreement
- Title（参考訳）: Mismatchの課題: オンライン蒸留はTokenの合意を超える
- Abstract要約: ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。
そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
- 参考スコア（独自算出の注目度）: 27.396104103072844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) has emerged as a core component of modern LLM post-training pipelines, yet we reveal a failure mode: degenerate agreement, where students exploit repetitive loops to achieve near-perfect token agreement with the teacher despite globally flawed responses. We therefore shift our focus from agreement to teacher-student mismatch, and find that mismatch tokens can be mainly categorized into two types: student-excess tokens and student-deficit tokens. Student-excess tokens are generated by the student but assigned near-zero probability by the teacher; their log-ratio corrections grow unbounded and destabilize the update. Student-deficit tokens, in contrast, are preferred by the teacher but rarely sampled by the student; their absence blocks the transfer of the teacher's reasoning patterns. To tackle these mismatch directions, we propose TIDE (Token-level Independent Deficit-Excess correction), which applies bounded Hellinger shaping to suppress the most severe sampled excesses and an analytic teacher top-$K$ injection to restore deficient probability mass without requiring deficit tokens to be sampled. Across mathematical reasoning benchmarks with multiple Qwen3 teacher-student pairs, TIDE consistently outperforms standard OPD and recent token-selection and reward-shaping baselines. Moreover, the gains of TIDE are more pronounced under strong teacher-student mismatch, where it improves Avg@8 from 6.9% to 20.3%, reduces average response length by a factor of 3.6, and substantially reduces formatting failures. Code is available at https://github.com/yzc-666/TIDE
- Abstract（参考訳）: オンライン蒸留 (OPD) は現代のLCMポストトレーニングパイプラインのコアコンポーネントとして現れているが, 学生が繰り返しループを利用して, グローバルに欠陥のある反応にもかかわらず, 教師とほぼ完璧なトークン合意を達成できるような, 退行型合意 (degenerate agreement) という, 障害モードが明らかにされている。
したがって、私たちは、合意から教師-学生間ミスマッチに焦点を移し、ミスマッチトークンは、主に学生-過剰トークンと学生-欠陥トークンの2つのタイプに分類できることがわかった。
学生の過剰トークンは生徒によって生成されるが、教師によってほぼゼロの確率で割り当てられる。
対照的に、学生欠陥トークンは教師によって好まれるが、学生によってサンプリングされることはめったにない。
そこで本研究では,これらのミスマッチ方向に対応するために,有界ヘリンジャー整形を施し,最も重いサンプル量を抑制するTIDE(Token-level Independent Deficit-Excess correct)と,不足トークンのサンプリングを必要とせず,不足確率質量を復元するための分析教師のトップ-K$インジェクションを提案する。
複数のQwen3教師と学生のペアによる数学的推論ベンチマークでは、TIDEは標準PDと最近のトークン選択と報酬形成ベースラインを一貫して上回っている。
さらに、TIDEの利得は、Avg@8を6.9%から20.3%に改善し、平均応答長を3.6倍に減らし、フォーマッティングの失敗を大幅に減らし、強い教師と学生のミスマッチの下でより顕著に発音される。
コードはhttps://github.com/yzc-666/TIDEで入手できる。
関連論文リスト
- A Token-Level Analysis of Sampled-Token Reverse-KL On-Policy Distillation [59.43605629311855]
学生ログに対する逆KLのトーケンK2推定器の勾配を解析した。
そこで我々は,SuReを1つの経験的インスタンス化として,K2推定器で訓練した逆KL OPDの勾配レベル評価を行った。
論文 参考訳（メタデータ） (2026-08-26T11:14:42Z) - SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning [54.402550664505576]
オンライン蒸留(OPD)は、より強力な教師モデルから短文の学生に推論能力を伝達する有望な方法を提供する。
長文推論モデル SU-01 から短文学習者モデルへの証明推論能力の移譲により,この設定について検討する。
Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4を含む同族および異族の両方の実験は、数学的推論において一貫した利得を示している。
論文 参考訳（メタデータ） (2026-08-14T12:57:02Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - Outcome-Confounded Local Supervision in On-Policy Distillation [0.5937989874256571]
オンライン蒸留は生徒を自身の軌道で訓練し、教師は生徒が訪問する接頭辞に密集したトークンレベルを供給している。
いずれの読解も、完成した軌跡の結果によって構築されていることを示す。
最終回答の正しさを両立させた結果解決診断法を提案する。
論文 参考訳（メタデータ） (2026-07-26T16:03:33Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation [28.572361799234784]
生のKL不一致が学習価値の粗いプロキシであることを示す。
我々はこの局所的な互換性をトークンの教育可能性として定式化する。
軽量なトークン配置選択法であるTeachability-Aware OPDを提案する。
論文 参考訳（メタデータ） (2026-05-26T10:56:46Z) - X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation [19.064775527374618]
クロストケナイザーの知識蒸留により、学生モデルは語彙を持つ教師から学ぶことができる。
ログベースの手法は正しい確率のみを使用し、教師の分布に完全な「暗黒の知識」を欠いている。
本稿では,これらの問題を対象とした2つの相補的損失定式化手法であるX-Tokenを提案する。
論文 参考訳（メタデータ） (2026-05-20T19:59:31Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。
推定器と実装側からOPDを再検討する。
不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
論文 参考訳（メタデータ） (2026-03-26T15:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。