論文の概要: When to Follow the Teacher: Advantage-Based On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2610.31563v1
- Date: Thu, 22 Oct 2026 17:05:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.489314
- Title: When to Follow the Teacher: Advantage-Based On-Policy Distillation
- Title(参考訳): 教師をフォローする時--アドバンテージに基づくオンライン蒸留
- Abstract要約: オンライン政策蒸留(OPD)は、しばしばスーパーバイザード・ファインチューニング(SFT)のようなオフライン手法よりも優れている
本稿では,教師の行動の重み付けを行うアドバンテージ・ベース・オン・ポリシィ蒸留(AOPD)について紹介する。
- 参考スコア(独自算出の注目度): 29.51474637042997
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Online Policy Distillation (OPD) often outperforms offline methods such as Supervised Fine-Tuning (SFT) by training on trajectories sampled directly from the student. However, standard OPD trains the student to follow the teacher at every state of the trajectory, assuming that teacher guidance is always beneficial. We instead distinguish between what the teacher prefers and what actually helps the current student succeed. We introduce Advantage-Based On-Policy Distillation (AOPD), which weights teacher actions by their counterfactual advantage under the student. Teacher actions that improve the student's expected outcome are reinforced, while those that do not are downweighted. Directly computing these advantages requires trying alternative teacher actions at each step and running new rollouts from each. Instead, we show that the AOPD objective can be estimated using only standard student rollouts and their terminal rewards. Our estimator uses teacher importance weights on the student-sampled actions to provide unbiased advantage-weighted supervision, without any additional rollouts or reward evaluations. This allows AOPD to focus teacher supervision on actions that help the current student while preserving the rollout efficiency of standard OPD. Experiments on math, coding, and Medqa show gains over distillation and RL baselines in both external-teacher and self-distillation settings.
- Abstract(参考訳): オンライン政策蒸留(OPD)は、学生から直接サンプリングされた軌跡のトレーニングによって、スーパーバイザード・ファインチューニング(SFT)のようなオフライン手法よりも優れていることが多い。
しかし、標準的なOPDは、教師の指導が常に有益であると仮定して、生徒にコースのあらゆる状態において教師に従うように訓練する。
その代わり、教師が好むものと、現在の学生が実際に成功するのに役立つものとを区別する。
本稿では,教師の行動の重み付けを行うアドバンテージ・ベース・オン・ポリシィ蒸留(AOPD)について紹介する。
生徒の期待する結果を改善する教師の行動は強化され、過度に重くならない教師の行動は強化される。
これらの利点を直接計算するには、各ステップで代替の教師アクションを試し、それぞれから新しいロールアウトを実行する必要がある。
代わりに、標準学生のロールアウトと端末報酬のみを用いてAOPD目標を推定できることが示される。
評価装置では,教師が生徒の行動に重み付けを施すことで,追加のロールアウトや報奨評価を行なわずに,偏見のない優位性重み付けの監督を行う。
これにより、AOPDは、標準PDのロールアウト効率を保ちながら、現在の学生を支援するアクションに教師の監督を集中させることができる。
数学、コーディング、メッカの実験は、外部教師と自己蒸留の設定の両方において蒸留とRLベースラインよりも向上している。
関連論文リスト
- OPDArena: Understanding Learning and Forgetting in On-Policy Distillation [55.0530106449001]
教師付き微調整(SFT)、強化学習(RLVR)、オンライン蒸留(OPD)を5つの事前訓練モデルと多様な教師源で比較した。
RLVR教育を受けた教師の生徒は、事前能力を維持しながら目標課題を改善する一方、SFT訓練を受けた教師の生徒は能力損失が大きい。
制御された教師比較は、教師がポストトレーニングを通じて取得するタスク固有の嗜好が、生徒のアップデートをドメイン内でより集中させることを示している。
論文 参考訳(メタデータ) (2026-10-19T01:51:24Z) - Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints [60.23381594831357]
SeTPOは、選択的な教師指導と永続的な実演指導で学生の探索を調整する。
理想化された双方向KL目標の下では、最適政策が教師よりも期待される報酬を得られないことを理論的に証明する。
BFCL v4とAPI Bankの実験により、SeTPOは教師付き微調整、強化学習、蒸留ベースラインよりも全体的な性能が優れていることが示された。
論文 参考訳(メタデータ) (2026-10-13T14:26:41Z) - A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching [15.425398466450646]
On-Policy Distillation (OPD)は、学生の世代に沿って、より強い教師から密集したトークンレベルの監督を提供する。
しかし、特権条件付けだけでは、結果の蒸留更新によって生徒が改善されることは保証されない。
本稿では,2つの役割で1つの政策を共同訓練するJOLT(Joint On-Policy Learning and Teaching)を提案する。
論文 参考訳(メタデータ) (2026-10-07T17:19:19Z) - On-Policy Distillation with Negative-Policy Rollouts [61.76889440384448]
オンライン蒸留(英: On-policy distillation、OPD)は、学生モデルが自身のロールアウトでより強い教師からトークンレベルの監督を取得するポストトレーニング手法である。
我々は,教師の監督と低パフォーマンスで低能力なネガティブポリシーのロールアウトを補完するNegative-Policy OPD(NP-OPD)を導入する。
NP-OPDは、OPDで使用される正の教師監督を保ちながら、負の政治的ロールアウトを通じて明確な負のシグナルを提供する。
論文 参考訳(メタデータ) (2026-10-06T07:25:03Z) - Guide, Then Let Go: Gap-Adaptive Teacher Scheduling for Sparse-Reward Agentic RL [12.812464850926915]
ギャップ適応教師スケジューリング(Gap-Adaptive Teacher Scheduling, GATS)は、生徒のRL目標を重みが教師と学生のパフォーマンスギャップに適応するPD項で拡張する。
GATSは3つの構成で比較した手法の平均成功率が最も高い。
論文 参考訳(メタデータ) (2026-09-29T16:00:21Z) - Teacher-Student Gaps Are Not Enough: Outcome-Guided On-Policy Distillation for Multi-Turn Autonomous Agents [18.008085411758177]
オンライン蒸留は、教師の監督が密集した独自の軌道で学生を訓練する。
大きなギャップは無視できるが、小さなギャップは結果クリティカルである。
教師の指導に軌道相対重み付けを適用したOG-OPD(Outcome-Guided On-Policy Distillation)を提案する。
論文 参考訳(メタデータ) (2026-09-28T14:49:13Z) - Look Ahead Before You Distill: Future Trajectory Validation of Teacher Guidance for Agentic On-Policy Distillation [18.893534946567218]
オンライン蒸留(On-policy distillation、OPD)は、学生が訪れた州を教師が監督する制度である。
本稿では,教師の短い橋渡しを行うFutureBridge-OPD(FTB)を提案する。
Qwen3-32Bの主教師がQwen3-1.7Bの学生設定で、FTBはバニラOPDとTCODを平均16.6点、7.6点で上回っている。
論文 参考訳(メタデータ) (2026-08-03T09:25:42Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳(メタデータ) (2026-05-13T15:05:30Z) - On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。
BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。
BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
論文 参考訳(メタデータ) (2026-05-10T19:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。