論文の概要: Pass the Baton: Trajectory-Relayed On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2607.26057v1
- Date: Tue, 28 Jul 2026 17:59:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-29 20:50:42.956974
- Title: Pass the Baton: Trajectory-Relayed On-Policy Distillation
- Title（参考訳）: パス・ザ・バトン:軌道遅延型オン・ポリシィ蒸留
- Abstract要約: オンライン蒸留は、学生自身の軌道におけるトークンレベルの監督を基礎としているが、プレフィックスの失敗に悩まされている。
Relay On-Policy Distillation (Relay-OPD)において、失敗プレフィックス上の教師-学生継続非対称性を特定し、ラベルなしハンドオフトリガに変換する。
トレーニング中、Relay-OPDは、教師が検出されたトリガーポイントを一時的に引き継ぎ、教師の足を生成し、その後、生徒が再開し、その結果の軌道に最適化することで、リレーの軌跡を構築する。
- 参考スコア（独自算出の注目度）: 23.50689651536186
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) grounds token-level supervision in the student's own trajectory, yet suffers from prefix failure: once the student commits to a wrong reasoning direction, all subsequent generation builds on this deviation, producing misdirected continuations that elicit unreliable supervision and waste compute. We identify a teacher-student continuation asymmetry on failed prefixes, where the teacher tends to redirect while the student continues along the original direction, and convert it into a label-free handoff trigger in Relay On-Policy Distillation (Relay-OPD). During training, Relay-OPD constructs relay trajectories by letting the teacher briefly take over at detected trigger points to produce a teacher leg, after which the student resumes and is optimized on the resulting trajectory. A limited relay budget concentrates intervention on critical early positions while limiting departure from the student policy. With a Qwen3-4B-Instruct-2507 teacher and Qwen3-0.6B/1.7B-Non-Thinking students on eight mathematical reasoning benchmarks, Relay-OPD achieves the best or second-best results on every benchmark, outperforming standard OPD by +5.73% and the strongest baseline FastOPD by +1.49% on average for 1.7B, with consistent gains at 0.6B. Training trajectory length is reduced by over 50%.
- Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、学生自身の軌道におけるトークンレベルの監督を基礎としているが、プレフィックスの失敗に悩まされている。
そこでは,教師が本来の方向に沿っている間,教師がリダイレクトする傾向にあるような,失敗する接頭辞に対する教師の学習継続非対称性を同定し,それをリレーオンポリシィ蒸留(Relay-OPD)におけるラベルフリーハンドオフトリガに変換する。
トレーニング中、Relay-OPDは、教師が検出されたトリガーポイントを一時的に引き継ぎ、教師の足を生成し、その後、生徒が再開し、その結果の軌道に最適化することで、リレーの軌跡を構築する。
限定的なリレー予算は、学生政策からの離脱を制限しながら、重要な早期のポジションへの介入に集中する。
Qwen3-4B-Instruct-2507の教師とQwen3-0.6B/1.7B-Non-Thinkingの学生が8つの数学的推論ベンチマークで評価し、Relay-OPDは全てのベンチマークで最高または2番目に良い結果を得た。
訓練軌跡の長さは50%以上削減される。
関連論文リスト
- Verify Before You Distill: Prompt-Level Teacher Gating for On-Policy Distillation [37.73879161170101]
オンライン蒸留(OPD)は、学生自身のロールアウトにおいて、凍結した教師から密集したトークンレベルの監督を提供することによって、ポストトレーニングを加速する。
Vanilla OPDは、教師が各プロンプトに対して信頼できるかどうかを確認することなく、この監督をプロンプト全体に均一に適用する。
本稿では,教師の信頼性を高密度監督が認められる前に早期に検証すべきという原則に基づくTGOPD(Teacher-Gated On-Policy Distillation)を紹介する。
論文 参考訳（メタデータ） (2026-09-02T17:54:09Z) - On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers [0.0]
我々は、強化学習のレンズを通してリランカー蒸留を再考する。
そこで本稿では,教師のオフ・ポリティクス最適化とオン・ポリティクス学生の蒸留を組み合わせた2段階の枠組みを提案する。
論文 参考訳（メタデータ） (2026-09-01T23:36:19Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate [17.31967380175203]
そこで我々は,MAD-OPD (Multi-Agent Debate-driven On-Policy Distillation)を提案する。
また,多段誤差合成によるトレーニングを安定させるために,ステップレベルサンプリングを付加したOPAD(On-Policy Agentic Distillation)を導入する。
論文 参考訳（メタデータ） (2026-05-02T09:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。