論文の概要: Stochastic Teacher Intervention for Agentic On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2610.10878v1
- Date: Wed, 07 Oct 2026 20:29:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.667463
- Title: Stochastic Teacher Intervention for Agentic On-Policy Distillation
- Title（参考訳）: エージェント・オン・ポリシィ蒸留のための確率的教師介入
- Abstract要約: オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの密接な監督を通じて、より強い教師から学生言語モデルへの能力の伝達を効率的に行う。
マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。
マルチターンエージェントOPDのための教師介入フレームワークであるSTI-OPDを紹介する。
- 参考スコア（独自算出の注目度）: 54.79076551646515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) efficiently transfers capabilities from a stronger teacher to a student language model through dense token-level supervision on student-generated rollouts and has shown promise on complex tasks such as mathematical reasoning. However, in multi-turn agentic tasks, student decisions shape subsequent observations, causing early errors to accumulate across turns. The resulting trajectories can drift away from the teacher's rollout distribution, making the teacher's token-level supervision less reliable or even counterproductive for OPD training. To address this issue, we introduce STI-OPD, a stochastic teacher intervention framework for multi-turn agentic OPD. During multi-turn interaction, STI-OPD uses teacher intervention guided by teacher-student policy discrepancy to replace the student's proposed action with a teacher-generated one to maximize the acquisition of reliable supervision. We further develop a stochastic intervention strategy, addressing the limitations of previous threshold-based or fixed-schedule approaches, that estimates policy discrepancy using KL divergence and maps it to an intervention probability. By sampling whether to intervene from this probability, STI-OPD adaptively balances teacher control with student exploration. To learn from the resulting mixed-policy trajectories, we introduce an Importance-Weighted Reverse KL objective that corrects the token sampling mismatch between teacher-generated responses and the student policy to preserve the original OPD objective. Across tool-integrated reasoning and long-horizon interaction, STI-OPD outperforms the strongest prior OPD baseline on every evaluated benchmark and student size. Ablations further show that both discrepancy-guided intervention and importance weighting contribute to these gains.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出すロールアウトのトークンレベルの集中管理を通じて、より強い教師から学生言語モデルへの能力を効率的に伝達し、数学的推論のような複雑なタスクを約束する。
しかし、マルチターンエージェントタスクでは、学生の判断がその後の観察を形作るため、ターン毎に早期エラーが蓄積される。
結果として生じる軌跡は、教師のロールアウト分布から逸脱し、教師のトークンレベルの監督が信頼性が低下したり、OPDトレーニングに反することもある。
本稿では,マルチターンエージェントPDのための確率的教師介入フレームワークであるSTI-OPDを紹介する。
マルチターンインタラクションにおいて、STI-OPDは教師と学生の政策不一致によって指導される教師の介入を用いて、学生が提案する行為を教師が生成した行為に置き換え、信頼性の高い監督の獲得を最大化する。
さらに,従来のしきい値ベースアプローチや固定スケジュールアプローチの限界に対処する確率的介入戦略を開発し,KL分散を用いた政策不一致を推定し,介入確率にマッピングする。
STI-OPDは、この確率から介入するかどうかをサンプリングすることにより、教師の制御と学生の探索のバランスを適応的に調整する。
混合政治の軌跡から学習するために,教師生成応答と学生政策のトークンサンプリングミスマッチを補正し,本来のPD目標を維持するImportance-Weighted Reverse KL目標を提案する。
STI-OPDは、ツール統合推論と長時間水平相互作用全体にわたって、評価されたベンチマークと学生サイズにおいて、最強のOPDベースラインを上回ります。
さらにアブレーションは、不一致誘導の介入と重み付けの両方がこれらの利益に寄与していることを示している。
関連論文リスト
- TeacherGRPO: Closing the Capacity Gap in Reasoning Distillation via Teacher Alignment [70.40748464576045]
強力な教師モデルから小さな学生への蒸留はギャップカースに面している。
教師がより高度に成長するにつれて、複雑な分布は生徒が近似できるものから多様化し、パフォーマンスが低下する。
本研究では,教師がデータを捨てたり,推論品質を劣化させたりすることなく,直接生徒の分布に適応する教師アライメントを提案する。
論文 参考訳（メタデータ） (2026-09-27T10:13:54Z) - Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation [18.000801125017357]
生産的なガイダンスは将来のユーティリティと現在の学習可能性の交差点にあると我々は主張する。
本稿では,LENS-OPDを提案する。LENS-OPDは,ロケート,リファイン,内在化による監視を組織する粗大なフレームワークである。
以上の結果から, 有効長期蒸留には, 適切な深さ, 正しい決定, 正しいトークンの指導が必要であることが示唆された。
論文 参考訳（メタデータ） (2026-09-27T09:44:55Z) - Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation [29.726128117466956]
不完全または低品質の学生接頭辞を条件にした場合,教師の指導は信頼できないことを示す。
本稿では,教師の継続を伴って学生のロールアウトに伴う情報伝達状態を増強する適応継続オン・ポリティ蒸留(AC-OPD)を提案する。
論文 参考訳（メタデータ） (2026-09-06T07:08:41Z) - CA-OPD: Confidence-Aware On-Policy Distillation for Structured Visual Prediction [12.346416465825627]
信頼できるオン・ポリシィ蒸留(CA-OPD)は、信頼性の高いロールアウト構築と適応的な監視を結合するフレームワークである。
GUIグラウンディングと光学文字認識のためのマルチ教師設定で評価され、CA-OPDはQwen3.5-0.8Bベースラインを大幅に改善する。
論文 参考訳（メタデータ） (2026-09-02T10:11:59Z) - SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation [25.25989941933095]
マルチターンOPD用に設計された検証不要な選択的介入フレームワークであるSAGE-OPDを提案する。
SAGE-OPDは、教師の監督を全ターンで均一に行うのではなく、まず環境フィードバックを観察し、各生徒の反応をスキップするか介入するかを決定するために教師の判断を使用する。
エージェントタスクの実験では、SAGE-OPDはベースラインよりも一貫して改善され、ALFWorldの13.3%の相対的な改善を実現している。
論文 参考訳（メタデータ） (2026-06-17T23:58:14Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。
複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
論文 参考訳（メタデータ） (2026-05-13T09:20:03Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。