論文の概要: Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents

• arxiv url: http://arxiv.org/abs/2609.35319v1
• Date: Mon, 28 Sep 2026 14:49:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 06:30:14.651545
• Title: Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents
• Title（参考訳）: 教師と教師のギャップは十分ではない:マルチターン自律型エージェントのアウトカムガイドオン・ポリシィ蒸留
• Abstract要約: オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。 大きなギャップは無視できるが、小さなギャップは結果クリティカルである。 教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
• 参考スコア（独自算出の注目度）: 18.008085411758177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) trains a student on its own trajectories with dense teacher supervision. Recent work on OPD for multi-turn autonomous agents often treats large teacher-student token-level distributional gaps as promising intervention points, linking larger gaps to a greater need for correction. Yet, our empirical analysis reveals a supervision-benefit mismatch: large gaps can be benign, while small gaps can be outcome-critical. Teacher-student gaps capture differences at the current turn, whereas the benefit of teacher guidance depends on how the current student interacts with the environment afterward. The student may still succeed despite choosing an action that differs from the teacher's, while a teacher-preferred action may lead to a state from which the student cannot complete the task. Local gaps alone are therefore not enough to determine whether teacher guidance benefits the current student. Effective supervision should instead emphasize guidance that the current student can translate into better final task outcomes. Accordingly, we propose Outcome-Guided On-Policy Distillation (OG-OPD), which applies trajectory-relative weighting to teacher supervision and calibrates these weights using final task outcomes from paired student continuations. This calibration selectively strengthens supervision on the student's original trajectories at turns where teacher guidance benefits the current student. Across ALFWorld, ScienceWorld, and WebShop, OG-OPD consistently outperforms baselines under diverse settings. It improves task success rates by 3.6-17.7 percentage points over vanilla OPD and by up to 7.0 percentage points over the strongest baseline.
• Abstract（参考訳）: オンライン蒸留 (On-policy distillation, OPD) は、教師に密接な監督を施した独自の軌道で学生を訓練する。 マルチターン自律エージェントのOPDに関する最近の研究は、大きな教師レベルのトークンレベルの分散ギャップを有望な介入ポイントとして扱い、より大きなギャップをより大きな修正の必要性にリンクすることが多い。 しかし、我々の経験的分析では、監督に相応しいミスマッチが明らかになっている: 大きなギャップは良心的であり、小さなギャップは結果クリティカルである。 教師と学生のギャップは、現在の順番で違いを捉え、教師指導の利点は、現在の学生がその後の環境とどのように相互作用するかに依存する。 教師が優先する行動は、生徒がタスクを完了できない状態につながる可能性がある。 したがって、地元のギャップだけでは、教師指導が現在の学生に利益をもたらすかどうかを判断するには不十分である。 効果的な監督は、現在の学生がより良い最終課題の結果に変換できるというガイダンスを強調するべきである。 そこで我々は,教師の監督に軌跡相対重み付けを適用し,2組の学生継続による最終課題結果を用いて,これらの重み付けを校正する,アウトカムガイドオンポリシィ蒸留(OG-OPD)を提案する。 この校正は、教師指導が現在の生徒に利益をもたらすように、生徒の元々の軌跡の監督を選択的に強化する。 ALFWorld、ScienceWorld、WebShop全体では、OG-OPDはさまざまな設定でベースラインを一貫して上回っている。 タスク成功率をバニラOPDで3.6-17.7ポイント、最強ベースラインで7.0ポイント改善している。

関連論文リスト

• Reward-Aligned Reweighting for On-Policy Distillation [17.797224736120654]
  オンライン蒸留は、学生が生み出す軌跡に関するより強い教師からの強いフィードバックで、学生言語モデルを訓練する。 決定の課題価値は、学生がその後の推論をどのように完了するかに依存する。 このミスマッチは、学生が確実に実行できないパスを補強したり、実行可能な学生戦略を抑えるために模倣を引き起こす可能性がある。 本稿では,教師の指導を継続的に再配置するために,結果の合意と教師の意見の不一致の程度を生かしたR$2-OPD(Reward-Aligned Reweighting for On-Policy Distillation)を紹介する。
  論文  参考訳（メタデータ） (2026-09-28T16:09:06Z)
• TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
  強力な教師モデルから小さな学生への蒸留はギャップカースに面している。 教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。 本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
  論文  参考訳（メタデータ） (2026-09-27T10:13:54Z)
• Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation [18.000801125017357]
  生産的なガイダンスは将来のユーティリティと現在の学習可能性の交差点にあると我々は主張する。 本稿では,LENS-OPDを提案する。LENS-OPDは,ロケート,リファイン,内在化による監視を組織する粗大なフレームワークである。 以上の結果から, 有効長期蒸留には, 適切な深さ, 正しい決定, 正しいトークンの指導が必要であることが示唆された。
  論文  参考訳（メタデータ） (2026-09-27T09:44:55Z)
• Calibrating Teacher--Student Discrepancy for On-Policy Distillation [8.81918848570085]
  bfCalibrated On-Policy Distillation (Cal-OPD)を導入する。 数学的推論ベンチマークの実験では、Cal-OPDは標準PDとモデルスケールのバリエーションを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-09-18T11:00:44Z)
• Look Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy Distillation [18.893534946567218]
  オンライン蒸留(On-policy distillation、OPD)は、学生が訪れた州を教師が監督する制度である。 本稿では,教師の短い橋渡しを行うFutureBridge-OPD(FTB)を提案する。 Qwen3-32Bの主教師がQwen3-1.7Bの学生設定で、FTBはバニラOPDとTCODを平均16.6点、7.6点で上回っている。
  論文  参考訳（メタデータ） (2026-08-03T09:25:42Z)
• On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
  オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。 本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。 Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
  論文  参考訳（メタデータ） (2026-06-14T16:41:45Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Self-Training with Differentiable Teacher [80.62757989797095]
  自己学習は、様々な半教師付きおよび弱教師付き学習タスクで大きな成功を収める。 この手法は、教師が擬似ラベルを生成し、生徒が予測を行う教師学生の枠組みとして解釈できる。 そこで我々は,教師学生をStackelbergゲームとして扱う,差別化可能な自己学習法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T02:06:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。