論文の概要: From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.37510v1
• Date: Tue, 29 Sep 2026 13:06:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.531257
• Title: From Dissonance to Orchestration: Teacher Intervention in On-Policy Distillation
• Title（参考訳）: 不協和音からオーケストラへ--オンライン蒸留における教師の介入
• Abstract要約: オンライン蒸留(OPD)は、より強い教師からのフィードバックを用いて、学生を独自の推論軌道で訓練する。 より深い介入により、ロールアウトの精度が低下し、非政治負荷が増大する。 MaESTROは、教師が受け継いだときとそれが生成する時間に共同で適応するために、ローカルポリシーの不一致を使用する。
• 参考スコア（独自算出の注目度）: 43.75423570055352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student on its own reasoning trajectories using feedback from a stronger teacher. Teacher interventions can improve these trajectories, but also change the distribution on which the student learns. Our controlled studies show that rollout quality alone is an incomplete criterion for allocating teacher guidance. Deeper intervention yields diminishing gains in rollout accuracy while increasing off-policy load. In a training probe with a restricted rollout horizon, peak student accuracy and performance retention favor different intervention strengths. The preferred intervention depth and placement also vary across benchmarks. These findings motivate MAESTRO, which uses local policy disagreement to jointly adapt when the teacher takes over and how long it generates. Its {policy disagreement score} combines teacher-weighted candidate coverage with local distribution similarity and is aggregated within reasoning paragraphs. Across eight mathematical reasoning benchmarks, MAESTRO achieves the highest macro-average accuracy among the compared methods for both 0.6B and 1.7B Qwen3 students, with the 1.7B student leading on every benchmark. MAESTRO also reduces average training response length by 67.3\% relative to standard OPD. The code is available at https://github.com/yhao-wang/MAESTRO.
• Abstract（参考訳）: オンライン蒸留(OPD)は、より強い教師からのフィードバックを用いて、学生を独自の推論軌道で訓練する。 教師の介入は、これらの軌道を改善するだけでなく、学生が学習する分布を変化させる。 本研究は,転がり品質が教師指導の不完全基準であることを示すものである。 より深い介入により、ロールアウトの精度が低下し、非政治負荷が増大する。 ロールアウトが制限されたトレーニングプローブでは、ピーク学生の精度と性能保持は異なる介入強度が好ましい。 好みの介入深さと配置もベンチマークによって異なる。 これらの知見は、教師が受け継いだときの地域政策の不一致と、その生み出す時間に共同で適応するMAESTROを動機付けている。 その政治不一致スコアは、教師が重み付けした候補者のカバレッジと地域分布の類似性を組み合わせて、推論項に集約される。 8つの数学的推論ベンチマークにおいて、MAESTROは0.6Bと1.7BのQwen3の学生で比較した手法の中で、最も高いマクロ平均精度を達成している。 MAESTROはまた、標準PDと比較して平均トレーニングレスポンス長を67.3\%削減する。 コードはhttps://github.com/yhao-wang/MAESTROで公開されている。

関連論文リスト

• Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
  オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:09:06Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• TISD: On-Policy Self-Distillation with Trajectory Intervention [13.94224055378737]
  On-policy Self-distillation (OPSD) は、高密度の教師ターゲットを提供するが、学生サンプルのロールアウトに沿ってのみ評価する。 単純な分岐再生蒸留アルゴリズムであるトラジェクトリ・インターベンション・セルフ蒸留(TISD)を導入する。 TISDは教師が選択したブランチアクションを強制し、サフィックス生成を生徒に返却し、特権条件付き教師の下で完全な軌跡を蒸留する。
  論文  参考訳（メタデータ） (2026-09-25T06:37:02Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。