論文の概要: Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.28586v1
• Date: Tue, 20 Oct 2026 17:40:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.953131
• Title: Capable Teacher, Myopic Scorer: Reward-Free Teacher Repair for Agentic On-Policy Distillation
• Title（参考訳）: 有能な教師、Myopic Scorer: エージェントオン・ポリシック蒸留のためのリワードフリーの教師の修復
• Abstract要約: エージェント・オン・ポリシー蒸留(OPD)は、教師が全てのトークンを得点している間に、学生エージェントを自身の軌道で訓練する。 本研究では, 未学習学生の高分解状態のマイニングにより, 蒸留前のスコアラーを修復するロールアウト・ツー・スカラー蒸留(R2S)を提案する。 R2Sは12人の教師-学生-環境細胞において3つの最先端のエージェント-OPD法より優れている。
• 参考スコア（独自算出の注目度）: 22.937350861727396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic on-policy distillation (OPD) trains a student agent on its own trajectories while a teacher scores every token. A natural explanation of where it goes wrong is compounding error: the student's mistakes carry its trajectories beyond the region where the teacher is reliable, so recent methods keep training inside that region, through episode-length curricula, teacher-guided turns, prefix replay, or teacher intervention where the two disagree. We show this explanation is incomplete. From the states where the student departs most from the teacher, the teacher's own takeovers still finish the task, yet the student trained on its token scores keeps running out of turns. We attribute this to the myopia of next-token scoring. The teacher rates each token without seeing where the episode ends, so its scores let through the safe, delaying moves that outcome-based RL would punish with zero reward, a penalty agentic OPD lacks. We call this difference between what the teacher does and what it scores the rollout-scorer gap. We propose Rollout-to-Scorer Distillation (R2S), which repairs the scorer before distillation by mining high-disagreement states from the untrained student, running teacher takeovers from them, keeping the states where enough takeovers pass a reward-free check such as consensus or an LLM judge, and fine-tuning the teacher to give its takeover-informed scores on every assistant token from the divergence turn onward, without the takeover in context. The repaired teacher is frozen as the sole scorer for standard OPD, requiring no task reward during repair or training. Across three environments, two teachers and four students, R2S outperforms three state-of-the-art agentic-OPD methods in all twelve teacher-student-environment cells, by 12.8 success points on average over the best of them in each cell. Project page: https://tree-shu-zhao.github.io/r2s/.
• Abstract（参考訳）: エージェント・オン・ポリシー蒸留(OPD)は、教師が全てのトークンを得点している間に、学生エージェントを自身の軌道で訓練する。 学生の過ちは、教師が信頼できる地域を越えて、その領域内で訓練を続けるため、最近の手法では、エピソード長のカリキュラム、教師誘導のターン、プレフィックスのリプレイ、教師の介入を通じて、両者が意見が一致しない。 この説明は不完全である。 生徒が教師から最も離れている州から、教師自身のテイクオーバーは依然としてタスクを終えるが、学生はそのトークンスコアで訓練された学生はターンが切れ続けている。 これは次のスコアのミオピアによるものです。 教師は各トークンをエピソードの終盤を見ることなく評価するので、結果に基づくRLが無報酬で罰せられるような安全で遅れた動きを通じてスコアが与えられ、ペナルティ・エージェントのPDは欠落する。 私たちはこの違いを、教師がしていることと、ロールアウトとスカラーのギャップを得点することの相違と呼んでいる。 本稿では, 未学習学生の高分解状態のマイニング, 教師のテイクオーバーの実施, コンセンサスやLCM審査員などの報酬なしチェックの合格状況の維持, および, 各アシスタントトークンのテイクオーバーインフォームドスコアを, 文脈によらず, テイクオーバーすることなく, 教師に微調整を行うことにより, 蒸留前のスコアラーを修復するロールアウト・ツー・ストーラー蒸留法を提案する。 修理された教師は、標準PDのための唯一のスコアラーとして凍結され、修理や訓練中にタスク報酬が不要となる。 3つの環境にまたがって、2人の教師と4人の学生が、R2Sは12人の教師-学生-環境細胞で最先端のエージェント-OPD法を平均12.8成功点で上回っている。 プロジェクトページ:https://tree-shu-zhao.github.io/r2s/。

関連論文リスト

• Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation [31.255019119496733]
  オンライン蒸留(英語版) (OPD) は、より強い教師の監督により、自身の軌道上でエージェントを訓練する。 マルチターンエージェントタスクにおいて,反直感的な現象が発見される: より小さく,最初は弱い学生は,蒸留が継続するにつれて,教師を著しく上回ります。 本研究では,教師の指導と相反する生徒選択を選択的にマスクするSPOD(Success-Preserving On-Policy Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-10-18T05:44:26Z)
• Recovering Reliable Supervision via Critique-Guided On-Policy Distillation [14.729045952279558]
  回復可能性の回復に誤り認識を用いるCryticOPDを提案する。 教師は間違ったロールアウトを批判し、生徒はエラーの後に解を書き換えることができる。 Qwen3の2人の学生と6つの数学的推論ベンチマークにおいて、CriticOPDはOPDを改善し、競合問題で最大の利益を上げている。
  論文  参考訳（メタデータ） (2026-10-14T17:54:34Z)
• DuoOPD: Learning from Joint Teacher-Student Outcomes for Multi-Task On-Policy Distillation [21.879988758181312]
  DuoOPDは、より強い教師からのトークンレベルのフィードバックで、生徒に独自のレスポンスでトレーニングする。 教師のみが成功すると、その正解は学生の失敗する反応を評価する文脈となる。 1つのルールはタスク固有の設定なしで4つの結果の組み合わせをカバーします。
  論文  参考訳（メタデータ） (2026-09-27T16:15:02Z)
• Recursive Self-Improvement via On-Policy Distillation for Reasoning [15.999152579037556]
  オンライン蒸留は、学生モデルに軌道を発生させ、次に次の学習予測と外部教師の次の学習予測を一致させることで訓練する。 学生モデルの第二の凍結されたコピーは、現在その文脈において基礎的な真実が与えられ、教師として機能している。 生徒モデルは問題を受け取り、特権を持つ教師モデルを模倣することを学ぶが、教師はトレーニングを通して凍結している。
  論文  参考訳（メタデータ） (2026-09-25T00:42:31Z)
• Reward-Gated On-Policy Distillation [58.187458236302575]
  オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。 RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。 RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
  論文  参考訳（メタデータ） (2026-07-04T21:51:22Z)
• Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
  近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。 ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。 プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
  論文  参考訳（メタデータ） (2026-06-16T17:46:02Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。