論文の概要: Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.14636v1
- Date: Sun, 13 Sep 2026 16:17:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.86991
- Title: Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation
- Title（参考訳）: いつ立ち止まるか、どこから始めるか:多剤のオン・ポリシィ蒸留を加速させる
- Abstract要約: 既存の加速法は、固定されたオフライン予算に従って監視信号を切断または移動させる。
本稿では2つの相補的手法を組み合わせたSTRIDE(Stop-and-Restart on-policy DistillationAcceleration)を提案する。
提案手法は全軌道PDと一致し,30B 教師を3.73 タイムで上回り,ベースライン自体を2.34 タイムで上回り,クロスドメインマルチテスタトレーニングでは4.51 タイムで上回ります。
- 参考スコア（独自算出の注目度）: 45.25745441009372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) has become a standard approach for transferring capabilities from large teachers to compact students. Its cost, however, is dominated by autoregressive student rollouts and scales poorly in multi-turn agentic settings. Existing acceleration methods truncate or relocate the supervision signal according to fixed, offline budgets, despite substantial variation in teacher-signal reliability both within and across trajectories. Our empirical analysis on $τ^2$-bench reveals a clear structure in this variation: informative supervision is concentrated in the prefix of each turn, and, most importantly for multi-turn agentic training, the cross-turn loss of teacher endorsement is temporally locked to the student's first erroneous action rather than accumulating gradually over turns. Building on these findings, we propose STRIDE (Stop-and-Restart on-policy Distillation acceleration), which combines two complementary techniques: adaptive early stopping, which terminates a rollout once the cumulative teacher log-probability falls below an out-of-distribution threshold, and a prefix buffer, which caches high-quality prefixes and restarts generation at the weakest correct turn. Together, these mechanisms induce a data-driven curriculum that progressively extends coverage to later turns. On $τ^2$-bench retail, our method matches full-trajectory OPD and exceeds the 30B teacher at a $3.73\times$ speedup, surpasses the baseline itself at $2.34\times$, and retains a $4.51\times$ speedup under cross-domain multi-teacher training. As a supplementary generalization test beyond the agentic setting, STRIDE outperforms full OPD on AIME 2025 at a $5.10\times$ speedup and on AIME 2024 at a $3.08\times$ speedup; averaged across the two evaluations, both fixed-budget truncation baselines remain below full OPD.
- Abstract（参考訳）: オンライン蒸留(OPD)は、大規模教師からコンパクトな学生への伝達能力の標準的なアプローチとなっている。
しかし、そのコストは自己回帰的な学生のロールアウトに支配されており、マルチターンエージェント設定では不十分である。
既存の加速法では、教師と教師の信号の信頼性はトラジェクトリ内とトラジェクトリ内の両方でかなり変化しているが、固定されたオフライン予算に従って教師信号の切り離しや移動が可能である。
情報的監督は各ターンの接頭辞に集中しており、最も重要なのは多ターンエージェントトレーニングにおいて、教師の支持のクロスターン損失は、ターンを徐々に蓄積するのではなく、時間的に学生の最初の誤った行動にロックされていることである。
そこで本研究では,教師の対数確率がアウト・オブ・ディストリビューション閾値以下になるとロールアウトを終了するアダプティブ早期停止と,高品質なプレフィックスをキャッシュし,最も弱いターンで生成を再開するプレフィックスバッファの2つの相補的手法を組み合わせたSTRIDE(Stop-and-Restart on-policy DistillationAccelerationAcceleration)を提案する。
同時に、これらのメカニズムはデータ駆動型カリキュラムを誘導し、カバレッジを後回まで徐々に拡張する。
τ^2$-benchの小売店では、当社の手法はフルトラックのPDと一致し、30Bの教師を3.73ドルで上回り、ベースライン自体を2.34ドルで上回り、クロスドメインのマルチ教師トレーニングでは4.51ドルを上回ります。
エージェント設定を超えた補助的な一般化テストとして、STRIDEは AIME 2025 の完全な OPD を 5.10\times$ スピードアップ、 AIME 2024 の3.08\times$ スピードアップで上回った。
関連論文リスト
- D$^3$-MOPD: Adaptive Dynamic Domain ScheDuling for Efficient Multi-Teacher Distillation [50.89072318748398]
マルチテラー・オン・ポリシー蒸留は、いくつかのドメイン専門家の教師を1人の学生に蒸留する。
既存のアプローチでは、トレーニング前にドメイン毎のデータ混在を修正するのが一般的である。
固定混合は、高速収束ドメイン上の計算を無駄にし、遅い収束ドメインをアンダートレインする。
D$3$-MOPDはドメイン単位の逆KL信号をオンラインに適応させるゼロオーバーヘッドスケジューラである。
論文 参考訳（メタデータ） (2026-08-25T17:57:11Z) - Adaptive FastOPD: Progress-Aware Rollout Horizon Expansion for Efficient On-Policy Distillation [6.296437135279578]
オンライン蒸留(OPD)は、学生が生み出す軌道に沿って密集した教師の監督を提供するが、オンラインのロールアウトプロセスは相当な計算コストを発生させる。
本稿では,現在境界付近で学習している場合にのみ,ロールアウト地平線を拡大するプログレッシブ・アウェア戦略であるAdaptive FastOPDを提案する。
論文 参考訳（メタデータ） (2026-07-31T15:02:53Z) - DASH-OPD: Discrepancy-Aware Switching with Hysteresis for On-Policy Distillation [9.897015521661915]
オンライン蒸留(OPD)は、露光バイアスを減らすために学生モデルを自身のロールアウトで訓練する。
既存のカリキュラム学習手法は、学習の進捗に応じてどの程度の教師支援が使われているかを規定するが、いつ必要かは決定できない。
DASH-OPDは,実行者を適応的に双方向に切り替える新しいエージェントOPD法である。
論文 参考訳（メタデータ） (2026-07-31T06:57:17Z) - TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training [52.6661804966136]
オンライン蒸留(英語版) (OPD) は、生徒自身の軌道上の強い教師と一致することによって、生徒の政策を訓練する。
本研究では, 長期化剤の高効率蒸留のためのターンレベルの予算化戦略であるTurnOPDを提案する。
論文 参考訳（メタデータ） (2026-07-07T03:56:35Z) - ATOD: Annealed Turn-aware On-policy Distillation for Multi-turn Autonomous Agents [6.4535223115254885]
長距離対話タスクのための小さな言語モデルエージェントの訓練には、高速な模倣と報酬駆動型改善が必要である。
我々は,この相補性を明示的に活用するハイブリッドオンライン蒸留アルゴリズムであるATOD(Annealed Turn-aware On-policy Distillation)を提案する。
論文 参考訳（メタデータ） (2026-06-26T07:56:32Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。
我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。
本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
論文 参考訳（メタデータ） (2026-05-29T16:12:54Z) - DUET: Optimize Token-Budget Allocation for Reinforcement Learning with Verifiable Rewards [37.28110997883518]
検証可能な報酬による強化学習は、トレーニングステップ毎に数十万のトークンを生成します。
共有計算予算下での両決定を共同で調整することで,推論品質とウォールクロックトレーニング時間の両方が向上することを示す。
論文 参考訳（メタデータ） (2026-05-08T20:03:19Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z) - Near-Future Policy Optimization [51.760544033045726]
検証可能な報酬(RLVR)による強化学習は、学習後の中核的なレシピとなっている。
textbfNear-Future textbfPolicy textbfOptimization (textbfNPO)を提案する。
論文 参考訳（メタデータ） (2026-04-22T16:20:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。