論文の概要: Does On-Policy Distillation Need to Complete Every Rollout?

• arxiv url: http://arxiv.org/abs/2610.21337v1
• Date: Thu, 15 Oct 2026 06:22:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.217599
• Title: Does On-Policy Distillation Need to Complete Every Rollout?
• Title（参考訳）: オンライン蒸留はすべてのロールアウトを完了させる必要があるか?
• Abstract要約: オンライン蒸留(OPD)は、学生が生み出すロールアウトに対するフィードバックを通じて、教師から生徒に効果的に機能を伝達する。 学生のロールアウトをランダムに切り換えることでOPDを高速化するTruncated On-Policy Distillation (STOPD)を導入する。 生成されたトークン毎に教師のフィードバックを取得し、ブロックワイズ逆確率重み付けを用いて、後続トークンを保持する確率の低下を補う。
• 参考スコア（独自算出の注目度）: 43.87106845001276
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: On-policy distillation (OPD) effectively transfers capabilities from a teacher to a student through feedback on student-generated rollouts. However, generating complete student rollouts and computing teacher feedback for every token make OPD computationally expensive. We introduce Stochastic Truncated On-Policy Distillation (STOPD), which accelerates OPD by randomly truncating student rollouts and correcting the resulting sampling bias with blockwise inverse-probability weighting (IPW). At each training step, we sample a stopping position for each rollout before generation and let the student generate until that position or natural termination. We obtain teacher feedback on every generated token and use blockwise IPW to compensate for the lower probability of retaining later tokens while controlling the weights. We prove that this weighting preserves Vanilla OPD's gradient sum in expectation and derive one-step update-error bounds for SGD, Adam, and Muon. We evaluate STOPD across multiple teacher-student model pairs, task domains, and optimizers. STOPD reduces generated tokens by 25-48% while maintaining accuracy comparable to Vanilla OPD, achieving 1.3-2.2x training speedups.
• Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生み出すロールアウトに対するフィードバックを通じて、教師から生徒に効果的に機能を伝達する。 しかし、全てのトークンに対して完全な学生ロールアウトとコンピュータ教師のフィードバックを生成すると、OPDは計算コストが高くなる。 学生のロールアウトをランダムに切り換えることによってOPDを加速し、その結果のサンプリングバイアスをブロックワイド逆確率重み付け(IPW)で補正する。 各トレーニングステップでは,各ロールアウトの停止位置を生成前にサンプリングし,その位置または自然終了まで生成させる。 生成したトークン毎に教師のフィードバックを取得し、ブロックワイズIPWを用いて後続トークンの保持率の低下を補償し、重みを制御した。 この重み付けは、Vanilla OPDの期待の勾配和を保ち、SGD、Adam、Muonのワンステップ更新エラー境界を導出することを示す。 複数の教師と学生のモデルペア、タスクドメイン、オプティマイザにまたがるSTOPDを評価する。 STOPDは生成トークンを25-48%削減し、バニラPDに匹敵する精度を維持し、1.3-2.2xのトレーニングスピードアップを達成した。

関連論文リスト

• RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning [52.85109240617592]
  RollVerifyは、部分的なロールアウト上に構築された軽量なReinforcement Learningフレームワークである。 訓練に入る前にサンプルを検証し、修復する。 トレーニングコストを削減しつつ、オンデマンドトレーニングに匹敵する精度を達成する。
  論文  参考訳（メタデータ） (2026-10-07T12:05:33Z)
• Interactive-Policy Distillation with Bidirectional Propose-and-Verify [15.832994594431776]
  インタラクティブ・ポリシィ蒸留(IPD)は、学生のロールアウトに適応的な教師の介入を適用する。 IPDは、より高性能な蒸留法であるだけでなく、オン・ポリティズムとオフ・ポリティズムのパラダイムの間の統一されたブリッジでもある。 数学推論タスクと複数の教師と学生のモデルペアにおいて、PDで訓練された学生モデルは、PDで訓練された生徒よりも優れているだけでなく、より高いデータ効率を示す。
  論文  参考訳（メタデータ） (2026-09-29T02:32:39Z)
• Persistent Teacher Anchoring for Tool-Using Agents [7.833492747957308]
  本稿では,学生が指導するが教師が委託するロールアウト構造であるPTA(Persistent Teacher Anchoring)を提案する。 PTAはチャンクレベルの検証を保持し、ターンレベルのコミットメントを追加します。 PTAは、同じ下流のRL予算でOPKDを2.5倍、2.8ポイント改善し、ルックアヘッドはスループットを24%改善した。
  論文  参考訳（メタデータ） (2026-09-04T06:09:50Z)
• AsyncOPD: How Stale Can On-Policy Distillation Be? [23.273855195545394]
  オンライン蒸留(OPD)は、教師のフィードバックによって指導された独自のロールアウトで学生を訓練する。 非同期トレーニングパイプラインは、学習者の更新からロールアウト生成を分離することで、このボトルネックを軽減することができる。 本研究は,非同期PDの安定性に関する最初の体系的研究である。
  論文  参考訳（メタデータ） (2026-06-23T04:50:49Z)
• Blockwise Policy-Drift Gating for On-Policy Distillation [14.61751557296924]
  オンライン蒸留(OPD)は、学生自身によってサンプリングされた軌跡に基づいて計算された教師信号を用いて生徒の政策を訓練する。 本稿では,OPDをロールアウト再利用するための軽量な学生専用ドリフトコントローラであるブロックワイド・ポリシー・ドリフト・ゲーティングを紹介する。
  論文  参考訳（メタデータ） (2026-06-23T02:58:16Z)
• Are Full Rollouts Necessary for On-Policy Distillation? [63.18243901591995]
  オンライン蒸留(OPD)は、学生が生み出すロールアウトに沿って密集した教師のフィードバックを提供する。 我々は、ロールアウトの地平線を、トレーニング効率に大きく影響を及ぼすOPDの重要なボトルネックとみなす。 本稿では,トレーニング中に徐々にロールアウト地平線を拡大するプログレッシブPDと,信頼性の高い切り抜きロールアウトで恒久的に蒸留を行うTrncated OPDの2つの簡単な水平制御戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-29T16:12:54Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。