論文の概要: Adaptive FastOPD: Progress-Aware Rollout Horizon Expansion for Efficient On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2607.29494v1
- Date: Fri, 31 Jul 2026 15:02:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.774866
- Title: Adaptive FastOPD: Progress-Aware Rollout Horizon Expansion for Efficient On-Policy Distillation
- Title（参考訳）: Adaptive FastOPD: 効率的なオンライン蒸留のためのプログレッシブアウェアロールアウト水平展開
- Abstract要約: オンライン蒸留(OPD)は、学生が生み出す軌道に沿って密集した教師の監督を提供するが、オンラインのロールアウトプロセスは相当な計算コストを発生させる。
本稿では,現在境界付近で学習している場合にのみ,ロールアウト地平線を拡大するプログレッシブ・アウェア戦略であるAdaptive FastOPDを提案する。
- 参考スコア（独自算出の注目度）: 6.296437135279578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: On-policy distillation (OPD) provides dense teacher supervision along student-generated trajectories, but its online rollout process incurs substantial computational cost, particularly when a few long responses delay batch completion. Existing acceleration methods typically control rollout length using fixed budgets or absolute teacher--student agreement thresholds, which may not reflect learning progress across different models and training stages. We propose Adaptive FastOPD, a progress-aware strategy that expands the rollout horizon only when learning near the current boundary region has plateaued and the current horizon is sufficiently utilized. The former is determined from four teacher--student signals measured relative to their values upon entering each horizon, making expansion responsive to stage-specific progress rather than a predefined step interval or an absolute threshold on the raw agreement signals, while the latter prevents a small number of long responses from triggering increases in rollout cost. Across two teacher--student pairs, Adaptive FastOPD achieves the highest average performance while reducing training time by 49.1--71.2\% relative to OPD 15K, and remains robust across a range of hyperparameter settings.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す軌道に沿って密集した教師の監督を提供するが、オンラインのロールアウトプロセスは、特に長時間の応答が遅れたバッチが完了すると、かなりの計算コストを発生させる。
既存の加速法は、固定予算や絶対教師の合意閾値を用いてロールアウト長を制御するのが一般的であり、これは異なるモデルや訓練段階における学習の進捗を反映しない可能性がある。
本稿では,現在の境界付近での学習が停滞し,現在地平線が十分に活用されている場合にのみ,ロールアウト地平線を拡大するAdaptive FastOPDを提案する。
前者は、各水平線に入ると、その値に対して測定された4つの教師学生信号から決定され、事前定義されたステップ間隔や生の合意信号の絶対閾値よりもステージ固有の進行に応答し、後者はロールアウトコストの増加を誘発する少数の長応答を防止している。
2つの教師-学生ペアの中で、Adaptive FastOPD は OPD 15K と比較してトレーニング時間を 49.1--71.2\% 削減しながら、最高の平均性能を達成する。
関連論文リスト
- Know When to Stop, Where to Restart: Accelerating Multi-Turn Agentic On-Policy Distillation [45.25745441009372]
既存の加速法は、固定されたオフライン予算に従って監視信号を切断または移動させる。
本稿では2つの相補的手法を組み合わせたSTRIDE(Stop-and-Restart on-policy DistillationAcceleration)を提案する。
提案手法は全軌道PDと一致し,30B 教師を3.73 タイムで上回り,ベースライン自体を2.34 タイムで上回り,クロスドメインマルチテスタトレーニングでは4.51 タイムで上回ります。
論文 参考訳（メタデータ） (2026-09-13T16:17:35Z) - OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。
これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。
品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
論文 参考訳（メタデータ） (2026-08-03T23:09:43Z) - TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training [52.6661804966136]
オンライン蒸留(英語版) (OPD) は、生徒自身の軌道上の強い教師と一致することによって、生徒の政策を訓練する。
本研究では, 長期化剤の高効率蒸留のためのターンレベルの予算化戦略であるTurnOPDを提案する。
論文 参考訳（メタデータ） (2026-07-07T03:56:35Z) - ATOD: Annealed Turn-aware On-policy Distillation for Multi-turn Autonomous Agents [6.4535223115254885]
長距離対話タスクのための小さな言語モデルエージェントの訓練には、高速な模倣と報酬駆動型改善が必要である。
我々は,この相補性を明示的に活用するハイブリッドオンライン蒸留アルゴリズムであるATOD(Annealed Turn-aware On-policy Distillation)を提案する。
論文 参考訳（メタデータ） (2026-06-26T07:56:32Z) - Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts [48.550535291129584]
Prefix-Guided On-Policy Distillation (PG-OPD) は、固定長プレフィックスを用いて、高価な長距離発生前に軌跡値を推定する単純なロールアウト・アロケーションフレームワークである。
AMC、AIME、HMMTベンチマークの様々な教師/学生の組み合わせで、PG-OPDはトレーニング時間を最大2.46倍にし、平均精度を4.80ポイントまで改善している。
論文 参考訳（メタデータ） (2026-06-20T11:18:34Z) - Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。
我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。
本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
論文 参考訳（メタデータ） (2026-05-29T16:12:54Z) - ADWIN: Adaptive Windows for Horizon-Aware On-Policy Distillation [11.916633988612439]
オンライン蒸留(OPD)は、学生が生み出す軌道に沿って教師のフィードバックを訓練することで、推論の振る舞いを伝達する。
我々は、ロールアウト長をオンライン許容判定として扱うOPD用適応ウィンドウフレームワークADWINを提案する。
論文 参考訳（メタデータ） (2026-05-27T12:33:44Z) - Learning to Foresee: Unveiling the Unlocking Efficiency of On-Policy Distillation [51.210887267509854]
OPDの効率は、トレーニングの初期段階において最終モデルに向けた安定的な更新軌道を確立する、フォレスト・オブ・ザ・イヤーズ(foresight')の形式に起因している、と我々は主張する。
我々は、外挿ステップのサイズを適応的に選択し、現在の更新方向に沿って移動することにより、OPDを高速化するプラグイン・アンド・プレイ・アクセラレーション手法である textbfEffOPD を提案する。
論文 参考訳（メタデータ） (2026-05-12T08:19:15Z) - SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data [49.370849653460716]
本稿では,アクタに整列したオフポリシー評価信号を用いたSOPEを,自動早期停止機構として提案する。
Minariベンチマークスイートから25の継続的制御タスクを評価した。
SOPEはベースライン性能を最大45.6%改善し、必要なTFLOPを最大22倍改善した。
論文 参考訳（メタデータ） (2026-05-07T08:32:09Z) - Learning to Draft: Adaptive Speculative Decoding with Reinforcement Learning [67.88087883391475]
本稿では,各ドラフト・アンド・検証サイクルのスループットを直接最適化する新しい手法であるLearning to Draftを紹介する。
LTDは2.24倍から4.32倍までのスピードアップ比を達成し、最先端のイーグル3よりも36.4%向上した。
論文 参考訳（メタデータ） (2026-03-02T09:17:48Z) - Steering Prototypes with Prompt-tuning for Rehearsal-free Continual
Learning [47.83442130744575]
代表的なクラス埋め込みとしてのプロトタイプは、記憶の保存と破滅的な忘れの緩和に利点をもたらす。
本研究では,Contrastive Prototypeal Prompt (CPP) アプローチを紹介する。
CPPは最先端の手法よりも4%から6%向上している。
論文 参考訳（メタデータ） (2023-03-16T16:23:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。