論文の概要: Scaling Properties of Same-Family On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2609.32722v1
- Date: Sat, 26 Sep 2026 15:39:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 20:57:41.569653
- Title: Scaling Properties of Same-Family On-Policy Distillation
- Title（参考訳）: 同一家庭におけるオンライン蒸留のスケーリング特性
- Abstract要約: We study the scaling properties of *on-policy distillation (OPD)* across *weak-to-strong*, *same-base* and *strong-to-weak* setups。
初期のOPDトレーニングダイナミクスは、通常の *useful-transfer* 体制を均一に示している。
また,2種類のOPDのスケーリング効果,弱いOPDのブートストラップ,およびオンライン監視の程度について検討した。
- 参考スコア（独自算出の注目度）: 16.633655972184584
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: *Reinforcement learning (RL)* can induce substantial reasoning capabilities in large language models (LLMs), but how much of this capability transfers across model scales, and how quickly, remains unclear. We study the scaling properties of *on-policy distillation (OPD)* across *weak-to-strong*, *same-base*, and *strong-to-weak* teacher--student setups. We find that early OPD training dynamics uniformly exhibit a regular *useful-transfer* regime, in which held-out accuracy (the *gold score*, $G$) rises approximately linearly in $d=\sqrt{\mathrm{KL}(π_θ\Vert π_{\mathrm{ref}})}$, the square root of token-level reverse KL divergence from the student initialization. In every observed weak-to-strong pair, the student's peak gold score exceeds its teacher's own, so a compact RL expert can transfer capability to a much larger student via OPD. To estimate OPD outcomes, we fit *power laws* for how $G_{\mathrm{peak}}$ and the slope of the useful-transfer regime scale with student and teacher parameter counts and with teacher gold score. These laws show that peak gold score improves with teacher scale only up to roughly the student's scale, and that at a matched gold score smaller teachers transfer better, so a teacher's score alone does not define its supervision value. We also study the scaling effects of two OPD variants, bootstrapping weak-to-strong OPD, and the degree of on-policy supervision.
- Abstract（参考訳）: ※強化学習(RL)*は、大規模言語モデル(LLM)において実質的な推論能力を引き出すことができるが、この能力のどの程度がモデルスケール間で伝達され、どのくらいの速さで、まだ不明である。
我々は,*-on-policy distillation (OPD)*のスケーリング特性を,*-weak-to-strong*,*same-base*,*-strong-to-weak*の教師-学生間における拡張性について検討した。
初期のOPDトレーニングダイナミクスは通常の *useful-transfer* 体制を均一に示しており、学生の初期化からトークンレベルの逆 KL の正方根である $d=\sqrt{\mathrm{KL}(π_θ\Vert π_{\mathrm{ref}})}$ において、ホールドアウト精度(*gold score*, $G$)がほぼ直線的に上昇する。
観測されたすべての弱い対において、生徒のピークゴールドスコアは教師自身のスコアを超えるので、コンパクトなRL専門家はOPDを介してより大きな学生に渡すことができる。
OPDの結果を推定するためには、$G_{\mathrm{peak}}$と、学生と教師のパラメータ数と教師のゴールドスコアによる有益トランスファー体制尺度の傾きに*パワー法則を適合させる。
これらの法則により、ピークゴールドスコアは教師の規模でのみ改善され、一致したゴールドスコアではより小さい教師の方が転校率が高いことが示され、教師のスコアだけでは教師の監督価値は定義されない。
また,2種類のOPDのスケーリング効果,弱いOPDのブートストラップ,およびオンライン監視の程度について検討した。
関連論文リスト
- REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。
信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
論文 参考訳（メタデータ） (2026-08-12T06:15:33Z) - Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。
RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2026-08-01T17:29:14Z) - Weak-to-Strong On-Policy Distillation [21.651421588571296]
Weak-to-Strong On-Policy Distillation (W2S-OPD)を導入した。
4つの数学と3つのコードベンチマークで、W2S-OPDはOPDを上回り、学生がドメイン教師を超越し、監督源が弱くなっても改善を続けることができる。
論文 参考訳（メタデータ） (2026-07-28T20:31:48Z) - H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。
既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。
本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
論文 参考訳（メタデータ） (2026-07-21T10:47:27Z) - Reward-Gated On-Policy Distillation [58.187458236302575]
オンライン蒸留は、強い教師から小さな学生に推論能力を伝達する強力な方法である。
RG-OPD: Reward-Gated On-Policy Distillationは、検証者フィードバックを用いて、教師のログがいつ信頼できるかを決定する。
RG-OPDは、推論とコーディングのベンチマークを通じて、より強い蒸留学生を生み出し、バニラ逆KL蒸留と最近のTLD-KDベースラインの両方を上回ります。
論文 参考訳（メタデータ） (2026-07-04T21:51:22Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。
学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。
4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
論文 参考訳（メタデータ） (2026-04-27T03:38:27Z) - Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。
この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。
特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
論文 参考訳（メタデータ） (2026-02-12T16:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。