論文の概要: Less is More: Early Stopping Rollout for On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2605.27028v1
• Date: Tue, 26 May 2026 13:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:42.198237
• Title: Less is More: Early Stopping Rollout for On-Policy Distillation
• Title（参考訳）: オンライン蒸留を早期に停止させる方法(動画あり)
• Authors: Zhou Ziheng, Jiaqi Li, Huacong Tang, Ying Nian Wu, Demetri Terzopoulos,
• Abstract要約: 早期停止ロールアウト(Early Stopping Rollout, ESR)は, ロールアウト生成を第1応答トークンに限定した簡易かつ効果的な蒸留戦略である。 その結果,ESRはモデルサイズ,家族,タスク,トレーニング体制全体にわたって,フルロールアウトのOPD性能を上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 39.392596318514244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation has recently emerged as a promising alternative to standard sequence-level imitation, training a student by scoring its own rollouts with a teacher model. However, we observe ``Off-policy Teacher Decay'' problem in this paradigm: for the later tokens, with student's earlier trajectory as context that is off-policy to the teacher, the teacher's ability to produce a corrective score would decay, and may fall back to token-completion behavior learned in the pre-training stage. We empirically verify this problem, and we propose Early Stopping Rollout (ESR) to fix it: a simple yet effective distillation strategy that simply restricts the rollout generation to the first response tokens. We show that ESR both surpasses the full rollout OPD performance across model size, family, tasks and training regime, and exhibit much higher GPU efficiency and training stability, especially under cross model family scenarios. We further investigate the mechanism behind this surprising performance and discovered "Cascading Alignment" and "Sub-mode Commitment" effect of ESR that may explain why it works effectively and even sometimes exceeding the teacher model performance. Besides, we show that this position-based token selection strategy cannot be fully explainable by KL divergence and entropy signals.
• Abstract（参考訳）: オンライン蒸留は、教師モデルで独自のロールアウトを記録して学生を訓練する、標準的なシーケンスレベルの模倣に代わる有望な代替手段として最近登場した。 しかし、このパラダイムでは「Off-policy Teacher Decay」の問題が観察される:後続のトークンでは、学生の初期の軌跡を教師に非政治的な文脈として扱うことで、教師の正当性スコアの生成能力は低下し、事前学習段階で学習されたトークン補完行動に逆戻りする可能性がある。 本稿では,この問題を実証的に検証し,第1応答トークンに対するロールアウト生成を制限した簡易かつ効果的な蒸留戦略である早期停止ロールアウト(ESR)を提案する。 ESRは、モデルサイズ、ファミリー、タスク、トレーニング体制をまたいだフルロールアウトのPD性能を超え、特にクロスモデルファミリーシナリオにおいて、GPU効率とトレーニング安定性がはるかに高いことを示す。 さらに,この驚くべきパフォーマンスのメカニズムを解明し,ESRの「カスケーディング・アライメント」と「サブモード・コミット」の効果を見出した。 さらに、この位置に基づくトークン選択戦略は、KLの発散とエントロピー信号によって完全に説明できないことを示す。

関連論文リスト

• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
  既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。 textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T15:31:50Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)
• DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
  過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。 第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。 第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
  論文  参考訳（メタデータ） (2020-06-26T20:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。