論文の概要: ATOD: Annealed Turn-aware On-policy Distillation for Multi-turn Autonomous Agents
- arxiv url: http://arxiv.org/abs/2606.27814v1
- Date: Fri, 26 Jun 2026 07:56:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.413031
- Title: ATOD: Annealed Turn-aware On-policy Distillation for Multi-turn Autonomous Agents
- Title（参考訳）: ATOD:多ターン自律型エージェントのターンアウェアオン政治蒸留
- Abstract要約: 長距離対話タスクのための小さな言語モデルエージェントの訓練には、高速な模倣と報酬駆動型改善が必要である。
我々は,この相補性を明示的に活用するハイブリッドオンライン蒸留アルゴリズムであるATOD(Annealed Turn-aware On-policy Distillation)を提案する。
- 参考スコア（独自算出の注目度）: 6.4535223115254885
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training small language-model agents for long-horizon interactive tasks requires both fast imitation and reward-driven improvement. On-policy distillation (OPD) provides dense teacher guidance and typically improves rapidly in the early stage, but its gains saturate once the student approaches the teacher, limiting the final performance ceiling. Reinforcement learning (RL) directly optimizes environment rewards and encourages exploratory improvement toward a higher reward-defined ceiling, but sparse and delayed feedback makes early-stage learning much less efficient than OPD. In this paper, we propose ATOD (Annealed Turn-aware On-policy Distillation), a hybrid online distillation algorithm that explicitly exploits this complementarity. (1) ATOD uses an annealed OPD-RL schedule: OPD dominates early training to approach teacher-level behavior, while RL is gradually strengthened to drive reward-based exploration. (2) ATOD introduces Turn-level Disagreement-Uncertainty Reweighting (T-DUR), which softly amplifies high-utility turns and improves dense supervision in long trajectories. Experiments on ALFWorld, WebShop, and Search-QA show that ATOD consistently outperforms competing post-training baselines: across the three student sizes, ATOD improves average success rate by 3.03 points over OPD and 23.62 points over GRPO, while surpassing the corresponding teacher models by 2.16 points.
- Abstract（参考訳）: 長距離対話タスクのための小さな言語モデルエージェントの訓練には、高速な模倣と報酬駆動型改善が必要である。
オンライン蒸留(OPD)は、密集した教師の指導を提供し、典型的には早期に急速に改善するが、学生が教師に近づき、最終的なパフォーマンス天井が制限される。
強化学習(Reinforcement Learning, RL)は, 環境報酬を直接最適化し, より高い報酬定義天井への探索的改善を奨励するが, 疎度で遅延したフィードバックにより, 早期学習の効率はOPDよりもはるかに低くなる。
本稿では,この相補性を明示的に活用するハイブリッドオンライン蒸留アルゴリズムであるATOD(Annealed Turn-aware On-policy Distillation)を提案する。
1)ATODでは,教師レベルの行動にアプローチするための早期訓練にPD-RLが支配的であり,RLは徐々に強化されて報酬に基づく探索が進められている。
2) ATODは, 高ユーティリティターンをソフトに増幅し, 長期軌道における高密度監視を改善するT-DUR(T-DUR)を導入している。
ALFWorld、WebShop、Search-QAでの実験では、ATODは訓練後ベースラインを一貫して上回り、3つの学生サイズで平均成功率を3.3ポイント、GRPOで23.62ポイント改善し、対応する教師モデルを2.16ポイント上回っている。
関連論文リスト
- TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training [52.6661804966136]
オンライン蒸留(英語版) (OPD) は、生徒自身の軌道上の強い教師と一致することによって、生徒の政策を訓練する。
本研究では, 長期化剤の高効率蒸留のためのターンレベルの予算化戦略であるTurnOPDを提案する。
論文 参考訳（メタデータ） (2026-07-07T03:56:35Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。
我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。
本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
論文 参考訳（メタデータ） (2026-05-29T16:12:54Z) - Self-Distilled Agentic Reinforcement Learning [65.24201057390938]
自己蒸留型エージェント強化学習は、トークンレベルの信号をシグモノイドゲートにマップする。
SDARはモデルスケール全体のハイブリッドRL--OPSDベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-14T17:51:26Z) - Learning to Foresee: Unveiling the Unlocking Efficiency of On-Policy Distillation [51.210887267509854]
OPDの効率は、トレーニングの初期段階において最終モデルに向けた安定的な更新軌道を確立する、フォレスト・オブ・ザ・イヤーズ(foresight')の形式に起因している、と我々は主張する。
我々は、外挿ステップのサイズを適応的に選択し、現在の更新方向に沿って移動することにより、OPDを高速化するプラグイン・アンド・プレイ・アクセラレーション手法である textbfEffOPD を提案する。
論文 参考訳（メタデータ） (2026-05-12T08:19:15Z) - SOD: Step-wise On-policy Distillation for Small Language Model Agents [32.49707795291693]
ツール統合推論は、小さな言語モデルにスケールすることが難しい。
近年,教師から密集したトークンレベルの監督を施すことで,オンライン蒸留が普及している。
スモールランゲージモデルエージェントのための段階的オンライン蒸留フレームワークであるSODを提案する。
論文 参考訳（メタデータ） (2026-05-08T13:30:42Z) - Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。
この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。
特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
論文 参考訳（メタデータ） (2026-02-12T16:14:29Z) - Video-OPD: Efficient Post-Training of Multimodal Large Language Models for Temporal Video Grounding via On-Policy Distillation [29.755136665244805]
時間的ビデオグラウンディング(TVG)の原則的ポストトレーニングパラダイムとして強化学習が登場している。
我々は,近年のオンライン蒸留の進歩に触発されたTVGのための効率的なポストトレーニングフレームワークであるVideo-OPDを提案する。
論文 参考訳（メタデータ） (2026-02-03T02:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。