論文の概要: AsyncOPD: How Stale Can On-Policy Distillation Be?

• arxiv url: http://arxiv.org/abs/2606.24143v1
• Date: Tue, 23 Jun 2026 04:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.766271
• Title: AsyncOPD: How Stale Can On-Policy Distillation Be?
• Title（参考訳）: AsyncOPD: オンライン蒸留はどのようにして安定できるのか?
• Authors: Wonjun Kang, Kevin Galim, Seunghyuk Oh, Minjun Kang, Sanghyun Park, Donghoon Kim, Minjae Lee, Minseo Kim, Rishabh Tiwari, Yuchen Zeng, Hyung Il Koo, Kangwook Lee,
• Abstract要約: オンライン蒸留(OPD)は、教師のフィードバックによって指導された独自のロールアウトで学生を訓練する。 非同期トレーニングパイプラインは、学習者の更新からロールアウト生成を分離することで、このボトルネックを軽減することができる。 本研究は,非同期PDの安定性に関する最初の体系的研究である。
• 参考スコア（独自算出の注目度）: 23.273855195545394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) trains a student on its own rollouts guided by teacher feedback and is becoming increasingly important for large language model (LLM) post-training. Like reinforcement learning (RL), however, OPD faces an on-policy systems bottleneck, as rollouts can dominate training time for reasoning workloads. Asynchronous training pipelines can alleviate this bottleneck by decoupling rollout generation from learner updates, but doing so introduces stale-policy data. While prior work has studied stale data in asynchronous RL, its effects in OPD remain underexplored. We present the first systematic study of staleness in asynchronous OPD, focusing on a practical setting where teacher feedback is implemented through local KL losses and full-vocabulary teacher logits are too expensive to store or transfer, necessitating finite teacher-score caches. We first show that KL direction changes the stale-data problem: teacher-weighted forward KL is more robust to stale rollouts, whereas student-weighted reverse KL is vulnerable. Second, for this vulnerable reverse-KL case, we study whether methods designed to stabilize asynchronous RL can mitigate OPD staleness. In our experiments, they do not improve over a simpler OPD-specific surrogate: recomputing the reverse-KL signal under the current student at learner time. Third, we analyze how finite teacher-score caches create a bias-variance tradeoff for sparse and sampled reverse-KL OPD estimators. This motivates multi-sample Monte Carlo (MC), which preserves MC correctability while reducing one-sample variance. Finally, we present and open-source AsyncOPD, a fully asynchronous OPD training pipeline built from these estimator choices. Experiments show that AsyncOPD improves training throughput by $1.6\times$ to $3.8\times$ over strict synchronous training while reaching comparable accuracy.
• Abstract（参考訳）: オンライン蒸留(OPD)は、教師のフィードバックによって指導された独自のロールアウトで学生を訓練し、大規模言語モデル(LLM)のポストトレーニングにおいてますます重要になっている。 しかし、強化学習(RL)と同様に、ロールアウトがワークロード推論のトレーニング時間を支配しているため、OPDはオン・ポリティクスのボトルネックに直面している。 非同期トレーニングパイプラインは、学習者の更新からロールアウト生成を分離することで、このボトルネックを軽減することができる。 以前の研究では、非同期RLにおける古いデータの研究はあったが、OPDにおけるその影響は未解明のままである。 本研究は,教師からのフィードバックをローカルKLの損失によって実行し,フルボキャブラリの教師ロジットは保存や転送に高すぎる,有限の教師スコアキャッシュを必要とする,実践的な状況に焦点をあてた,非同期PDにおける安定化に関する最初の体系的研究である。 教師重み付きフォワードKLは、学生重み付き逆KLは脆弱であるのに対し、教師重み付きフォワードKLはより堅牢である。 第二に、この脆弱な逆KLの場合、非同期RLを安定化させる方法がOPD安定化を緩和するかどうかを検討する。 実験では,既存の学生の下での逆KL信号の計算を学習時に行うことで,単純なOPD固有のサロゲートよりも改善することができない。 第3に、教師スコアキャッシュがスパースとサンプル化された逆KL OPD推定器のバイアス分散トレードオフをどのように生み出すかを分析する。 これはマルチサンプルモンテカルロ(MC)のモチベーションであり、MCの精度を保ちながら1サンプルの分散を減少させる。 最後に、これらの推定器の選択から構築された完全に非同期なOPDトレーニングパイプラインであるAsyncOPDを紹介し、オープンソース化する。 実験の結果、AsyncOPDはトレーニングのスループットを1.6\times$から3.8\times$に改善し、より厳密な同期トレーニングを実現している。

関連論文リスト

• Less is More: Early Stopping Rollout for On-Policy Distillation [39.392596318514244]
  早期停止ロールアウト(Early Stopping Rollout, ESR)は, ロールアウト生成を第1応答トークンに限定した簡易かつ効果的な蒸留戦略である。 その結果,ESRはモデルサイズ,家族,タスク,トレーニング体制全体にわたって,フルロールアウトのOPD性能を上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-05-26T13:49:37Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)
• Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation [7.2992280064983825]
  オンライン蒸留(OPD)は、大規模言語モデルの効率的な後訓練パラダイムとして登場した。 標準PDは、トレーニングを通してライブの教師推論サーバーを必要とし、その結果、かなりのインフラストラクチャーオーバーヘッドを発生させる。 我々は,教師の対数確率をSFTロールアウトにプリ計算することで教師の一貫性を強制するオフラインのオンライン蒸留フレームワークであるLightning OPDを提案する。
  論文  参考訳（メタデータ） (2026-04-14T17:44:50Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes [31.95045602299568]
  オンライン蒸留(OPD)は,教師の学習履歴ではなく,学生が生み出すロールアウトに対するフィードバックを評価するため,大規模言語モデル(LLM)のポストトレーニングにアピールしている。 推定器と実装側からOPDを再検討する。 不均衡な1-token信号、学生が生成した接頭辞に対する教師の信頼できない指導、トークン化器や特殊-tokenミスマッチによる歪みの3つの失敗モードを同定する。
  論文  参考訳（メタデータ） (2026-03-26T15:35:59Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• CoPRIS: Efficient and Stable Reinforcement Learning via Concurrency-Controlled Partial Rollout with Importance Sampling [11.252930904797]
  重要サンプリングを用いた並列制御部分ロールアウト(CoPRIS)を提案する。 CoPRISは、一定数の同時ロールアウトを維持し、十分なサンプルが収集されたら早期終了し、その後のロールアウトで未完成のトラジェクトリを再利用することで、長いテールの非効率を緩和する。 実験の結果、CoPRISは同期RLシステムに匹敵する性能を維持しながら、最大1.94倍高速なトレーニングを実現している。
  論文  参考訳（メタデータ） (2025-11-05T11:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。