論文の概要: Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
- arxiv url: http://arxiv.org/abs/2610.08448v1
- Date: Tue, 06 Oct 2026 14:37:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.05263
- Title: Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability
- Title（参考訳）: クロスTokenizer on-Policy蒸留の再考:アライメントカバーからスーパービジョン信頼性へ
- Abstract要約: On-Policy Distillationは、教師のフィードバックを使って、生徒を自分の世代で訓練する。
本稿では,アライメント範囲の拡大が学習を改善するかどうかを検討する。
- 参考スコア（独自算出の注目度）: 10.24142921437929
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-Policy Distillation (OPD) trains a student on its own generations using teacher feedback. With different tokenizers, comparing teacher and student predictions requires alignment at both sequence and vocabulary levels. In this paper, we examine whether expanding this alignment coverage improves learning. Across three heterogeneous teacher--student pairs on mathematical reasoning and code generation, strict 1:1 groups already cover most student-generated tokens despite substantial vocabulary mismatch. On responses sampled from the students before distillation, the shared vocabulary retains nearly all teacher and student probability mass at strictly aligned positions on average. Restricting reverse KL to a student-selected top-16 subset of the shared vocabulary at each strict position achieves accuracy comparable to full shared-vocabulary OPD, outperforming the evaluated cross-tokenizer baselines. Adding mean squared error supervision on span log-probabilities in mismatch groups gives complete supervision coverage, yet reduces accuracy. At checkpoints from training with only the strict loss, the span gradients show weak or negative directional agreement with the strict gradients and grow in magnitude relative to them. These diagnostics may help explain the accuracy drop from adding span supervision. Our findings motivate a shift from maximizing alignment coverage to prioritizing supervision reliability: compact supervision at strict positions can be more effective than broader coverage that introduces weakly aligned or conflicting training signals.
- Abstract（参考訳）: On-Policy Distillation (OPD)は、教師のフィードバックを使って、生徒を自分の世代で訓練する。
異なるトークンーザでは、教師と学生の予測を比較するには、シーケンスレベルと語彙レベルの両方をアライメントする必要がある。
本稿では,このアライメント範囲の拡大が学習を改善するかどうかを検討する。
数学的推論とコード生成の学生ペアである3つの異質な教師ペアの中で、厳密な1:1グループは、かなりの語彙ミスマッチにもかかわらず、既にほとんどの学生生成トークンをカバーしている。
蒸留前の学生から採取した反応について、共有語彙は、教師と学生の確率のほぼ全てを、平均的に厳密に整列した位置で保持する。
各厳密な位置にある共用語彙のトップ16サブセットに逆KLを制限すると、完全共用語彙OPDに匹敵する精度が得られ、評価されたクロストケナイザベースラインを上回る。
ミスマッチグループのログ確率に平均2乗誤差監督を加えると、完全な監視カバレッジが得られるが、精度は低下する。
厳格な損失のみのトレーニングからのチェックポイントでは、スパン勾配は厳格な勾配と弱いあるいは負の方向の一致を示し、それに対して等級が大きくなる。
これらの診断は、スパン監視の追加による精度低下を説明するのに役立つかもしれない。
我々の研究は、アライメントの最大化から監督の信頼性の優先順位付けへのシフトを動機付けている。厳格な位置でのコンパクトな監督は、弱い整合性や矛盾する訓練信号を導入する広範なカバレッジよりも効果的である。
関連論文リスト
- Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。
オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。
OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
論文 参考訳（メタデータ） (2026-09-29T23:47:58Z) - What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。
生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。
我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
論文 参考訳（メタデータ） (2026-09-27T11:08:31Z) - TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Mismatch Matters: On-Policy Distillation Beyond Token Agreement [27.396104103072844]
ミスマッチトークンは,主に学生不足トークンと学生不足トークンの2種類に分類される。
そこで本研究では,有界ヘリンジャー成形法を応用し,最も重大なサンプル過剰を抑えるためのTIDEと,欠陥のある確率質量を復元するための分析教師の上位K$インジェクションを提案する。
論文 参考訳（メタデータ） (2026-08-10T16:53:14Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation [19.064775527374618]
クロストケナイザーの知識蒸留により、学生モデルは語彙を持つ教師から学ぶことができる。
ログベースの手法は正しい確率のみを使用し、教師の分布に完全な「暗黒の知識」を欠いている。
本稿では,これらの問題を対象とした2つの相補的損失定式化手法であるX-Tokenを提案する。
論文 参考訳（メタデータ） (2026-05-20T19:59:31Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。
推定器と実装側からOPDを再検討する。
不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
論文 参考訳（メタデータ） (2026-03-26T15:35:59Z) - Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。
P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。
複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
論文 参考訳（メタデータ） (2026-01-15T04:40:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。