論文の概要: Agentic-OPD: Recovering Forgotten Agent Capabilities via On-Policy Distillation for Agentic Tasks
- arxiv url: http://arxiv.org/abs/2611.12799v2
- Date: Fri, 13 Nov 2026 03:18:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.222049
- Title: Agentic-OPD: Recovering Forgotten Agent Capabilities via On-Policy Distillation for Agentic Tasks
- Title(参考訳): Agentic-OPD: エージェントタスクのオン・ポリシィ蒸留による偽薬能力の回復
- Abstract要約: LLMエージェントのGRPOトレーニングにおいて、最良値チェックポイントは同じ実行時のチェックポイントが既に解いた問題に失敗することを示す。
本稿では,最良評価チェックポイントを学生として扱うエージェントOPDと,凍結した教師候補としてすべてのチェックポイントを保存するエージェントOPDを提案する。
- 参考スコア(独自算出の注目度): 4.260196752617047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning is now the mainstream paradigm for training LLMs on agentic tasks, yet standard practice keeps only the best-validation checkpoint and discards the rest. We show that this is lossy: in GRPO training of LLM agents, the best-validation checkpoint fails on problems that earlier checkpoints from the same run had already solved, and the union of problems solved across checkpoints far exceeds any single one. The discarded checkpoints thus form a teacher pool obtained at no additional training cost, which on-policy distillation (OPD) can mine to recover the lost coverage. Mining this pool raises two challenges: i) which checkpoint to distill from, as no checkpoint dominates the others and complementarity to the student is problem-specific; ii) where to trust it, as even a well-chosen teacher is only locally superior, so indiscriminate distillation overwrites behavior the student has already mastered. We propose Agentic-OPD, which treats the best-validation checkpoint as the student and all saved checkpoints as frozen teacher candidates, using the student's evolving capability gaps to guide both teacher selection and supervision filtering: the HCN policy (Highest Coverage Next) dynamically selects teachers by weighted coverage of the student's unsolved problems, while the LAD module (Locality-Aware Distillation) confines transfer to failed student rollouts on problems where the teacher performs better. Across five agentic task domains and 24 benchmarks and task subsets, Agentic-OPD improves over its initialization checkpoint by up to 7.4 points, with a 4B student surpassing the latest frontier models GPT-5.6 and DeepSeek-V4.1 on deep search. Agentic-OPD recasts a finished RL run as a reusable pool of policies and establishes post-RL capability recovery as a stage orthogonal to improvements in the RL algorithm itself.
- Abstract(参考訳): 強化学習は現在ではエージェントタスクでLLMをトレーニングするための主流パラダイムとなっているが、標準的な実践では最良評価チェックポイントのみが保持され、残りは破棄される。
LLMエージェントのGRPOトレーニングでは、前回のチェックポイントがすでに解決していた問題に対して、最善検証チェックポイントが失敗し、チェックポイント全体で解決された問題の統一が、これまでどのチェックポイントよりもはるかに多いことが示される。
廃棄されたチェックポイントは、追加の訓練コストなしで得られた教師プールを形成し、オン・ポリケーション蒸留(OPD)は、失われたカバレッジを回復するために採掘することができる。
このプールの採掘には2つの課題がある。
一 留置すべきチェックポイントが他者を支配しないこと、及び学生の相補性が問題特有であること。
二 ウェル・チョーゼンの先生でさえも、現地で優位に立つので、その生徒が既に習得したふるまいを無差別に上書きする。
HCNポリシー(Highest Coverage Next)は、生徒の未解決問題の重み付けによって教師を動的に選別する一方で、LADモジュール(Locality-Aware Distillation)は、教師の業績が良くない問題に対する学生の転向を制限する。
5つのエージェントタスクドメインと24のベンチマークとタスクサブセットで、エージェント-OPDは初期化チェックポイントを最大7.4ポイント改善し、4Bの学生が最新のフロンティアモデルであるGPT-5.6とDeepSeek-V4.1を上回った。
Agentic-OPDは、再利用可能なポリシーのプールとして実行されたRLを再キャストし、RLアルゴリズム自体の改善に直交する段階として、ポストRL機能回復を確立する。
関連論文リスト
- Beyond the Teacher: Understanding and Preserving Distillation Overshoot in Agentic On-Policy Distillation [31.255019119496733]
オンライン蒸留(英語版) (OPD) は、より強い教師の監督により、自身の軌道上でエージェントを訓練する。
マルチターンエージェントタスクにおいて,反直感的な現象が発見される: より小さく,最初は弱い学生は,蒸留が継続するにつれて,教師を著しく上回ります。
本研究では,教師の指導と相反する生徒選択を選択的にマスクするSPOD(Success-Preserving On-Policy Distillation)を提案する。
論文 参考訳(メタデータ) (2026-10-18T05:44:26Z) - Correcting or Continuing? What On-Policy Distillation Learns from Student Errors [25.947529576014006]
オンライン蒸留(On-policy distillation、OPD)は、学生を凍結教師の下で自前のロールアウトで訓練し、非政治監督の流通ミスマッチを緩和する。
Qwen-3 と Phi-4 モデルを用いた 5 つの代表 OPD 機構を統一的な競合数学プロトコルで評価した。
トレーニングKLのばらつきが持続的に低下しているにもかかわらず,ほとんどのメカニズムは性能を劣化させ,OPDはハードサブセットの精度を向上しないことがわかった。
対照的に、同じパイプラインは、トレーニングが障害に集中していない場合の精度を4.6ポイント向上させる。
論文 参考訳(メタデータ) (2026-10-13T09:10:58Z) - BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。
Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
論文 参考訳(メタデータ) (2026-08-09T15:32:16Z) - Reward-Gated On-Policy Distillation [58.187458236302575]
オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。
RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。
RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
論文 参考訳(メタデータ) (2026-07-04T21:51:22Z) - Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。
SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-05-14T17:51:26Z) - MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate [17.31967380175203]
そこで我々は,MAD-OPD (Multi-Agent Debate-driven On-Policy Distillation)を提案する。
また,多段誤差合成によるトレーニングを安定させるために,ステップレベルサンプリングを付加したOPAD(On-Policy Agentic Distillation)を導入する。
論文 参考訳(メタデータ) (2026-05-02T09:41:37Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳(メタデータ) (2026-04-27T03:38:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。