論文の概要: Calibrating Teacher--Student Discrepancy for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.21619v1
• Date: Fri, 18 Sep 2026 11:00:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:17.027896
• Title: Calibrating Teacher--Student Discrepancy for On-Policy Distillation
• Title（参考訳）: 教員の校正--オンライン蒸留における学生の相違
• Abstract要約: bfCalibrated On-Policy Distillation (Cal-OPD)を導入する。 数学的推論ベンチマークの実験では、Cal-OPDは標準PDとモデルスケールのバリエーションを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 8.81918848570085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) improves reasoning models by learning the token-level discrepancy between a stronger teacher and an on-policy student. However, this discrepancy does not purely reflect the capability gap between the teacher and the student: it also contains deviations arising from the teacher itself, which are consequently mixed into the observed teacher--student discrepancy and indiscriminately learned by standard OPD during training. This issue is further exacerbated by privileged OPD, where privileged information induces larger teacher-side likelihood shifts, thereby encouraging the student to learn more of the teacher's own deviation. We introduce \textbf{Calibrated On-Policy Distillation (Cal-OPD)}, which estimates the teacher's self-deviation region through positive and negative privileged interventions and calibrates the original teacher--student discrepancy by retaining only the component that lies beyond this region. Experiments on mathematical reasoning benchmarks show that, while retaining only about 52--65\% of the original teacher--student discrepancy as the optimization signal, Cal-OPD consistently outperforms standard OPD and its variants across model scales.
• Abstract（参考訳）: オンライン蒸留(OPD)は、強力な教師とオンライン学生のトークンレベルの相違を学習することで、推論モデルを改善する。 しかし、この相違は、教師と生徒の能力格差を純粋に反映するものではなく、教師自身から生じる偏差も含み、結果として観察された教師の相違に混ざり、訓練中に標準PDによって無差別に学習される。 この問題は、特権情報によって、より大きな教師側の可能性シフトが引き起こされ、生徒が教師自身の偏見をもっと学ぶように促される、特権的なOPDによってさらに悪化する。 本稿では,教師の自己決定領域を正・負の特権的介入を通じて推定し,その領域外にある構成要素のみを保持することで,元の教師の自己決定領域を校正する「Cal-OPD」を紹介した。数学的推論ベンチマークでは,原教師の自己決定領域の約52～65倍の程度を最適化信号として保持する一方で,標準OPDとそのモデルスケールにおける変種を一貫して上回ることを示す。

関連論文リスト

• VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation [19.198000863807316]
  オンラインの自己蒸留は、特権のある教師から密集したトークンレベルの監督を用いて、問題のみの学生を自身のロールアウトで訓練することで推論を改善する。 標準OPSDは、教師の配当を学生のロールアウトに沿った固定的ターゲットとして扱い、生徒の%のみを更新するが、特権条件付けは教師が常に問題のみの推論に対して最も適切なターゲットを提供することを保証しない。 本稿では,教師を学生分布に適応させるために,結果検証ロールアウトを使用しながら,標準のOPSD学生更新を保存するVerifier-Informed Students-to-Teacher Adaptation (VISTA)を紹介する。
  論文  参考訳（メタデータ） (2026-08-28T13:10:34Z)
• PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation [1.1440940588722308]
  On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。 PAST(Privleged Adaptation from Students Trajectories)を紹介する。 PASTは、学生の蒸留プレフィックスをそのまま残しながら、各学生軌跡をOPSD教師に追加の特権情報として扱う。
  論文  参考訳（メタデータ） (2026-08-09T14:20:12Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning [2.9029480541171107]
  そこで我々は, 自己蒸留を推論するための効果的な新しい軸として, 適応型教師曝露を提案する。 適応型自己蒸留(ATESD)は, 競争力のある自己蒸留とRLベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-12T03:15:58Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
  既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。 textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T15:31:50Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。