論文の概要: Demystifying On-Policy Distillation: Where Does the Teacher's Advantage Live?

• arxiv url: http://arxiv.org/abs/2610.19145v1
• Date: Tue, 13 Oct 2026 20:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.784299
• Title: Demystifying On-Policy Distillation: Where Does the Teacher's Advantage Live?
• Title（参考訳）: 公共事業における消毒 : 教師の長所はどこにあるのか?
• Abstract要約: オンライン蒸留(OPD)は、強化学習の安価な代替手段として研究されている。 我々は,教員の優位性は学生が生み出す軌跡に沿ってどこにあるのかを問うことによって,知識蒸留の観点からOPDを再考する。 教師-学生の不一致における制御されたトークンフリップは、教師の修正によって得られる精度を直接測定する。
• 参考スコア（独自算出の注目度）: 9.14957165984884
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) is increasingly studied as a cheaper alternative to reinforcement learning, yet it remains a form of knowledge distillation (KD) that relies on teacher supervision. We revisit OPD from the KD perspective by asking where the teacher's advantage lies along student-generated trajectories. Controlled token flips at teacher-student disagreements directly measure the accuracy gained from teacher corrections. Single-token flips yield a modest average gain on selected failed trajectories, whereas repeated flips raise accuracy from 28.4% to 74.5%, close to the teacher's 76.9%. Gains continue to accumulate with more flips, but mass- and KL-based selection outperform random flips by 15-18 percentage points at counts of similar magnitude. Selective intervention remains useful after OPD, but greater argmax agreement does not consistently improve accuracy across model pairs. We advocate training schedules that learn more valuable teacher corrections while maintaining distributional stability. Controlled flips and fork-resolution analysis evaluate OPD beyond accuracy by measuring which teacher preferences the student acquires and what further correction can recover.
• Abstract（参考訳）: オンライン蒸留(OPD)は強化学習の代替として研究が進んでいるが、教師の監督に依存する知識蒸留(KD)の一形態である。 我々は,教師の優位性は学生が生み出す軌道に沿ってどこにあるのかを尋ねることで,KDの観点からOPDを再考する。 教師-学生の不一致における制御されたトークンフリップは、教師の修正によって得られる精度を直接測定する。 シングルトーケン・フリップは、選択された障害軌跡の平均利得をわずかに上回り、繰り返しフリップは、教師の76.9%に近い28.4%から74.5%に上昇する。 ゲインはより多くのフリップで蓄積されるが、質量とKLに基づく選択は、同じ大きさのカウントで15-18ポイントのランダムフリップを上回ります。 OPD後、選択的介入は有用であるが、より大きなargmax合意はモデルペア間の精度を一貫して改善しない。 配電安定性を維持しつつ、より価値ある教師の補正を学習する訓練スケジュールを提唱する。 制御されたフリップとフォークレゾリューション解析は、学生がどの教師に好むか、何の修正を行うかを測定することによって、OPDを精度を超えて評価する。

関連論文リスト

• From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation [43.75423570055352]
  オンライン蒸留(OPD)は、より強い教師からのフィードバックを用いて、学生を独自の推論軌道で訓練する。 より深い介入により、ロールアウトの精度が低下し、非政治負荷が増大する。 MaESTROは、教師が受け継いだときとそれが生成する時間に共同で適応するために、ローカルポリシーの不一致を使用する。
  論文  参考訳（メタデータ） (2026-09-29T13:06:14Z)
• Calibrating Teacher--Student Discrepancy for On-Policy Distillation [8.81918848570085]
  bfCalibrated On-Policy Distillation (Cal-OPD)を導入する。 数学的推論ベンチマークの実験では、Cal-OPDは標準PDとモデルスケールのバリエーションを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-18T11:00:44Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning [45.79647925282674]
  On-policy Self-distillation (OPSD) は、特権教師を使って生徒を自身のロールアウトで訓練する。 既存のエントロピーに基づくPD手法は、教師エントロピーによるトークンレベルの監督を調節することで、この一様性を緩和する。 そこで我々は,PW-OPSD(Pight-Weighted On-Policy Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-05-20T18:14:03Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。