論文の概要: Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2610.02678v1
- Date: Fri, 02 Oct 2026 01:59:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.161238
- Title: Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation
- Title（参考訳）: 教師がどこが重要か:成功度の高いオン・ポリティクス蒸留
- Abstract要約: オンライン蒸留は、学生が生み出したロールアウトと教師からの密集したトークンレベルの監督を組み合わせたものである。
本稿では,教師の指導を受けるプロンプトとロールアウトを選択することで,そのコストを削減できる,継承関連オンポリシィ蒸留(SR-OPD)を導入する。
- 参考スコア（独自算出の注目度）: 8.998984850606345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher, but providing such supervision for every rollout requires substantial teacher computation. We introduce Success-Referenced On-Policy Distillation (SR-OPD), which reduces this cost by selecting which prompts and rollouts receive teacher supervision. When the student produces both successful and failed rollouts for the same prompt, a successful rollout can serve as a natural reference for selecting failed rollouts. SR-OPD therefore focuses on such prompts and prioritizes failed rollouts whose hidden-state trajectories show sustained divergence from a successful reference, while accounting for estimated teacher-input cost. Across three teacher-student pairs and six mathematical reasoning benchmarks, SR-OPD uses only 3.46-5.02% of the teacher-input tokens required by Vanilla OPD in the one-pass setting while maintaining comparable reasoning performance. Under a controlled setting matched to 5% of Vanilla OPD's teacher-input budget, further experiments support both key design choices: focusing supervision on prompts with both successful and failed rollouts, and using successful rollouts to guide failure selection. These results indicate that a student's own successful behavior can serve as a useful reference for allocating teacher supervision under a fixed teacher-input budget.
- Abstract（参考訳）: オンライン蒸留(OPD)は、学生が生成したロールアウトと教師からの密集したトークンレベルの監督を組み合わせるが、すべてのロールアウトに対してそのような監督を行うには、相当な教師計算が必要である。
本稿では,教師の指導を受けるプロンプトとロールアウトを選択することで,そのコストを削減できる,継承関連オンポリシィ蒸留(SR-OPD)を導入する。
学生が同じプロンプトで成功したロールアウトと失敗したロールアウトの両方を生成する場合、成功したロールアウトは失敗したロールアウトを選択するための自然な参照として機能する。
そのため、SR-OPDはこのようなプロンプトに重点を置いており、教師のインプットコストを見積もっても、隠れ状態の軌道が成功率から逸脱し続けるようなロールアウトを優先している。
3つの教師/学生ペアと6つの数学的推論ベンチマークの中で、SR-OPDは、同等の推論性能を維持しながら、ヴァニラOPDが要求する3.46-5.02%の教師/入力トークンしか使用していない。
制御された設定の下では、ヴァニラOPDの教師・インプット予算の5%と一致し、さらなる実験は両方の重要な設計選択をサポートする: 成功と失敗の両方でプロンプトの監督に焦点を合わせ、失敗の選択をガイドするためにロールアウトを成功させた。
これらの結果から,学生自身の成功行動は,教師・インプット予算の固定化に役立てられることが示唆された。
関連論文リスト
- VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation [19.198000863807316]
オンラインの自己蒸留は、特権のある教師から密集したトークンレベルの監督を用いて、問題のみの学生を自身のロールアウトで訓練することで推論を改善する。
標準OPSDは、教師の配当を学生のロールアウトに沿った固定的ターゲットとして扱い、生徒の%のみを更新するが、特権条件付けは教師が常に問題のみの推論に対して最も適切なターゲットを提供することを保証しない。
本稿では,教師を学生分布に適応させるために,結果検証ロールアウトを使用しながら,標準のOPSD学生更新を保存するVerifier-Informed Students-to-Teacher Adaptation (VISTA)を紹介する。
論文 参考訳（メタデータ） (2026-08-28T13:10:34Z) - ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。
我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
論文 参考訳（メタデータ） (2026-08-11T13:27:56Z) - SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation [28.886137823815826]
Sparse Probing and Outcome-calibrated Targets OPD (SPOT)を紹介する。
SPOTは、取得-探索-探索-探索手順を通じて、どこで調査し、何を蒸留するかという2つの複合的な決定に対処する。
複数の学生モデルと推論ベンチマークによる実験は、SPOTの有効性を実証している。
論文 参考訳（メタデータ） (2026-08-05T03:59:24Z) - Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。
ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。
プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
論文 参考訳（メタデータ） (2026-06-16T17:46:02Z) - On-Policy Distillation with Curriculum Turn-level Guidance for Multi-turn Agents [50.78688247330029]
オン・ポリシィ蒸留(On-Policy Distillation、OPD)は、小規模の学生にその能力を伝達するための自然なレシピである。
本稿では,教師と生徒が生成するターンを各ロールアウトに混在させるシンプルなアルゴリズムであるGuided-OPD(Guided-OPD)を提案する。
Guided-OPDは、平均してバニラOPDよりも21.1%、成功率25.5%向上している。
論文 参考訳（メタデータ） (2026-06-14T16:41:45Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳（メタデータ） (2026-05-10T19:49:00Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。