論文の概要: Flash-OPD: Fast On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.06105v1
• Date: Mon, 05 Oct 2026 10:36:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 18:40:18.133336
• Title: Flash-OPD: Fast On-Policy Distillation
• Title（参考訳）: Flash-OPD: 高速なオンデマンド蒸留
• Abstract要約: オンライン蒸留(OPD)は、学生が生み出す軌跡の教師の集中的な監督を提供するが、長期にわたるロールアウトの生成と評価は、かなりの訓練コストをもたらす。 ロールアウト水平制御から適応軌道レベルの境界検証へ移行する*Flash-OPD*を提案する。 Flash-OPD* は標準的な OPD よりも2.2times$-7.5times$スピードアップを達成し、精度を維持または改善している。
• 参考スコア（独自算出の注目度）: 37.73834570278192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) provides dense teacher supervision on student-generated trajectories, but generating and evaluating long rollouts incurs substantial training cost. Existing acceleration methods reduce this cost through open-loop rollout schedules or closed-loop horizon adaptation. However, supervision compatibility can vary substantially across trajectories, making a single rollout horizon difficult to match their heterogeneous reliable lengths: an overly short horizon may truncate useful supervision, while an overly long one wastes computation beyond reliable regions. Our key insight is that the trajectory-specific reliability boundary need not be predicted before generation. By viewing reliability as the first-passage of accumulated low teacher--student compatibility events, the boundary is inherently unknown before sampling, yet whether it has been reached can be determined exactly from the observed prefix. Building on this insight, we propose *Flash-OPD*, which shifts from rollout-horizon control to adaptive trajectory-level boundary verification. *Flash-OPD* interleaves cached generation with teacher verification and independently stops each trajectory according to its observed compatibility events. To reduce verification overhead, the recent event rate is used only to schedule the next verification point, while the actual stopping decision always relies on the exact cumulative count. This separation prevents estimation errors from causing premature termination while enabling efficient verification during generation. Extensive experiments across diverse datasets and teacher--student settings show that *Flash-OPD* achieves $2.2\times$--$7.5\times$ speedups over standard OPD while maintaining or improving accuracy.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出す軌跡の教師の集中的な監督を提供するが、長期にわたるロールアウトの生成と評価は、かなりの訓練コストをもたらす。 既存の加速法では、開ループのロールアウトスケジュールや閉ループの地平線適応により、このコストを削減している。 しかし、監督の整合性は軌道によって大きく異なるため、一本のロールアウト水平線が不均一な信頼できる長さと一致することが難しくなる。 我々の重要な洞察は、軌道固有の信頼性境界は生成前に予測する必要がないということである。 信頼度を蓄積した低教師の初歩的な互換性イベントとして見ることにより、その境界はサンプリング前に本質的に未知であるが、それに到達するか否かは観察されたプレフィックスから正確に決定できる。 この知見に基づいて, ロールアウト水平制御から適応軌道レベルの境界検証へ移行した *Flash-OPD* を提案する。 ※Flash-OPD* は、教師の検証によってキャッシュ生成をインターリーブし、観察された互換性イベントに従って、それぞれの軌跡を独立に停止する。 検証オーバーヘッドを低減するため、最近のイベントレートは次の検証ポイントのスケジュールにのみ使用されるが、実際の停止決定は常に正確な累積数に依存している。 この分離により、推定誤差が早期終了の原因となるのを防止し、生成時の効率的な検証を可能にする。 多様なデータセットと教師の学生設定にわたる大規模な実験は、*Flash-OPD*が標準PDよりも2.2\times$-$7.5\times$スピードアップを達成し、精度を維持または改善していることを示している。

関連論文リスト

• Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation [97.02922768457239]
  Context-Matched Distillation (CMD) は、教師の監督と、各ターゲットが生成される際に利用可能な情報とを整合させる因果的MDDフレームワークである。 Prefix Corruptionは、このターゲットコンテキストアライメントを維持しながら、トレーニングの初期段階で生成された信頼性の低いプレフィックスを摂動することで、トレーニングを安定化させる。 ショートビデオとロングビデオの両方のベンチマークで、自己回帰手法における最先端の集約性能を実証した。
  論文  参考訳（メタデータ） (2026-08-13T15:51:31Z)
• Adaptive FastOPD: Progress-Aware Rollout Horizon Expansion for Efficient On-Policy Distillation [6.296437135279578]
  オンライン蒸留(OPD)は、学生が生み出す軌道に沿って密集した教師の監督を提供するが、オンラインのロールアウトプロセスは相当な計算コストを発生させる。 本稿では,現在境界付近で学習している場合にのみ,ロールアウト地平線を拡大するプログレッシブ・アウェア戦略であるAdaptive FastOPDを提案する。
  論文  参考訳（メタデータ） (2026-07-31T15:02:53Z)
• Speculative Rollback Correction for Quality-Diverse Web Agent Imitation [43.603850569331975]
  専門家の軌道から模倣学習を通じて対話型Webエージェントを訓練することは、非常に効果的なアプローチとして現れている。 リセット可能なエージェント環境のためのブランチレベルの模倣フレームワークであるSRC(Speculative Rollback Correction)を提案する。
  論文  参考訳（メタデータ） (2026-06-10T08:56:27Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• Affordance Agent Harness: Verification-Gated Skill Orchestration [45.231685718099264]
  Affordance groundingは、オープンワールドのシーンでエージェントがどこでどのように対話すべきかを特定する必要がある。 本稿では,エビデンスストアとコストコントロールを備えたクローズドループランタイムであるAffordance Agent Harnessを提案する。
  論文  参考訳（メタデータ） (2026-05-01T13:45:16Z)
• Distill-Belief: Closed-Loop Inverse Source Localization and Characterization in Physical Fields [19.32007397161956]
  正しさを効率から分離する教師学生向けフレームワークである textbfDistill-Belief を提案する。 実験の結果,Distill-Beliefはセンサコストを一貫して低減し,成功率,後部収縮率,ベースライン上の推定精度を向上することがわかった。
  論文  参考訳（メタデータ） (2026-04-28T20:18:29Z)
• Understanding Warmup-Stable-Decay Learning Rates: A River Valley Loss Landscape Perspective [66.80315289020487]
  Warmup-Stable-Decay (WSD) スケジュールは、一定の学習率を使用して、所定の計算予算なしで無限に継続できるイテレーションのメインブランチを生成する。 プレトレーニング損失は,河底に川がある深い谷に類似した河谷景観を呈することを示す。 この理論にインスパイアされたWSD-Sは、従来のチェックポイントの崩壊フェーズを再利用し、メインブランチを1つだけ保持するWSDの変種である。
  論文  参考訳（メタデータ） (2024-10-07T16:49:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。