Fugu-MT 論文翻訳(概要): Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation

論文の概要: Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation

arxiv url: http://arxiv.org/abs/2610.25034v1
Date: Sun, 18 Oct 2026 05:44:26 GMT
ステータス: 情報取得中
システム内更新日: 2026-10-20 22:04:26.773942
Title: Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation
Title（参考訳）: 教師を超えて:エージェントオンポリティー蒸留における蒸留オーバーシュートの理解と保存
Abstract要約: オンライン蒸留(英語版) (OPD) は、より強い教師の監督により、自身の軌道上でエージェントを訓練する。マルチターンエージェントタスクにおいて,反直感的な現象が発見される: より小さく,最初は弱い学生は,蒸留が継続するにつれて,教師を著しく上回ります。本研究では,教師の指導と相反する生徒選択を選択的にマスクするSPOD(Success-Preserving On-Policy Distillation)を提案する。
参考スコア（独自算出の注目度）: 31.255019119496733
License:
Abstract: On-policy distillation (OPD) trains agents on their own trajectories using supervision from a stronger teacher. We uncover a counterintuitive phenomenon in multi-turn agentic tasks: a smaller, initially weaker student can substantially outperform its teacher during training, only to regress as distillation continues. We term this phenomenon distillation overshoot. Through decision- and task-level analyses, we trace overshoot to two competing effects of OPD: repairing weak student decisions and eroding successful student choices that the teacher disfavors. Early in training, repair outpaces erosion, allowing the student to combine the teacher's corrections with its own strengths and surpass the teacher. As training continues, erosion overtakes repair, causing these gains to vanish. Motivated by this finding, we propose Success-Preserving On-Policy Distillation (SPOD), which selectively masks conflicting teacher supervision on successful student choices and introduces a soft probability floor to counteract their erosion, while retaining teacher guidance elsewhere. SPOD requires only binary episode success and model probabilities already available during OPD. Across two model families and three agentic benchmarks, SPOD consistently outperforms ordinary OPD and evaluated variants, improving final success by up to 15.2 percentage points and surpassing the teacher by up to 20.0 points. Moreover, SPOD's final checkpoints outperform even ordinary OPD's best intermediate checkpoints in all six settings, demonstrating that beyond-teacher gains can be not only preserved but further extended. Code: https://github.com/Jike338/SPOD
Abstract（参考訳）: オンライン蒸留(英語版) (OPD) は、より強い教師の監督により、自身の軌道上でエージェントを訓練する。マルチターンエージェントタスクにおいて,反直感的な現象が発見される: より小さく,最初は弱い学生は,蒸留が継続するにつれて,教師を著しく上回ります。この現象を蒸留オーバーシュートと呼ぶ。意思決定とタスクレベルの分析を通じて、教師が嫌う学生選択を損なうような弱い学生決定を修復することと、OPDの競合する2つの効果を追及する。訓練の早い段階では、修理は浸食よりも優れており、生徒は教師の補正を自身の強さと組み合わせて教師を超越することができる。訓練が進むにつれて、浸食は修復に成功し、これらの利益は消滅する。そこで本研究では,教師の指導力の相違を選択的に隠蔽し,その影響を抑えるソフトな確率フロアを導入し,教師の指導を他の場所で維持する「成功保存オン・ポリシィ蒸留(SPOD)」を提案する。 SPODはバイナリエピソードの成功と、PD中に既に利用可能なモデル確率のみを必要とする。 2つのモデルファミリーと3つのエージェントベンチマークで、SPODは通常のOPDを一貫して上回り、変種を評価し、最終成功率は15.2ポイントまで改善し、教師を20.0ポイントまで上回っている。さらに、SPODの最終チェックポイントは6つの設定で通常のPDの最良の中間チェックポイントよりも優れており、教師以外のゲインを保存できるだけでなく、さらに拡張できることを示している。コード:https://github.com/Jike338/SPOD

論文の概要: Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation

関連論文リスト