論文の概要: Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO

• arxiv url: http://arxiv.org/abs/2611.08453v1
• Date: Thu, 05 Nov 2026 18:47:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 04:55:13.626775
• Title: Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO
• Title（参考訳）: GRPO に対する強弱 OPD の計算効率の解法
• Abstract要約: マルチTeacher OPD (DeepSeek-AI, 2026) は、ドメインごとのGRPO専門家を、各専門家の精度に合う1人の学生に集約する。 このパイプラインは、合計FLOPを42.0%減らした2ドメイン混合でGRPOのジョイント性能に達する。
• 参考スコア（独自算出の注目度）: 44.93553234185887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains a student on its own rollouts under a frozen teacher's per-token supervision. Does this dense signal reduce the training FLOPs needed to reach a target accuracy compared with reinforcement learning? We systematically compare vanilla reverse-KL OPD with Group Relative Policy Optimization (GRPO) across task difficulty, student and teacher size, domain, and optimization choices, measuring held-out accuracy against training FLOPs. With an external post-trained teacher, OPD generally loses to GRPO in accuracy per training FLOP at matched settings, even when the teacher is further trained with GRPO, and often suffers response-length inflation. Yet a different teacher changes the picture: when the teacher is the student's own GRPO checkpoint, OPD recovers that checkpoint's accuracy on math with $50\times$ fewer distillation FLOPs than GRPO needs to reach the same accuracy. Following the same teacher setting, we consistently observe this high efficiency with a larger student, on code, and in a second model family. On a single domain, however, the GRPO checkpoint is already the desired model, so distilling it adds to total compute. Across domains, separate GRPO checkpoints hold different capabilities, and no single checkpoint serves every domain. Multi-teacher OPD (DeepSeek-AI, 2026) consolidates per-domain GRPO experts into a single student that matches each expert's accuracy, with the distillation stage costing only 5.2% (on 2 domains) and 8.0% (on 4 domains) of the specialist training FLOPs. Counting specialist training and distillation together, this pipeline reaches joint GRPO's performance on the 2-domain mix with 42.0% fewer total FLOPs.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、凍結した教師の指導の下で生徒を自身のロールアウトで訓練する。 この高密度信号は、強化学習と比較して目標精度に到達するために必要な訓練FLOPを減少させるか? 我々は, 課題難易度, 生徒と教師のサイズ, ドメイン, 最適化の選択肢について, FLOPに対する保持精度を測定し, 逆KL OPDとグループ相対政策最適化(GRPO)を体系的に比較した。 外部訓練後の教師では、教師がGRPOでさらに訓練され、しばしば応答長のインフレーションに悩まされる場合であっても、一般的に、FLOPが一致した環境でのトレーニング毎の精度でGRPOに負ける。 教師が生徒自身のGRPOチェックポイントである場合、OPDはチェックポイントの精度を50\times$ FLOPsで回復する。 同じ教師設定に従って、私たちは、より大規模な学生、コード、第二モデルファミリーで、この高い効率を継続的に観察します。 しかし、単一の領域では、GRPOチェックポイントが既に望ましいモデルであるため、全計算に蒸留が加えられる。 ドメイン全体で、別々のGRPOチェックポイントは異なる機能を持ち、すべてのドメインに単一のチェックポイントが機能しない。 マルチTeacher OPD (DeepSeek-AI, 2026) は、ドメインごとのGRPO専門家を1人の学生に集約し、それぞれの専門家の精度に適合し、蒸留段階はFLOPの専門訓練の5.2%(ドメイン2ドメイン)と8.0%(ドメイン4ドメイン)に留まる。 専門的な訓練と蒸留を合わせて、このパイプラインは総FLOPを42.0%減らした2ドメイン混合でGRPOのジョイント性能に達する。

関連論文リスト

• DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation [8.1776750657211]
  検証可能な報酬を伴う強化学習(RLVR)は、相補的な結果レベルの監視を提供するが、疎い報酬と粗い信用割り当てに苦しむ。 教師信号は密集したローカルガイダンスを提供するが、ロールアウトの正しさに弱いのに対し、グループ相対報酬はタスク成功を捉えるが、トークンレベルクレジットは粗悪で、全障害グループでは消滅する。 DiffGateは,GRPOと選択的,有界な教師指導を組み合わせた学習目標である。
  論文  参考訳（メタデータ） (2026-10-03T15:33:21Z)
• When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment [30.535425747356125]
  Unified Entropy-Calibrated Credit Redistribution for GRPOは、単一のGRPOスタイルの更新に検証器と教師信号を統合する。 emphPath-Utility Unification (PUU)は、検証者報酬と教師対教師パスの対数比を単一のKL正規化目的に組み合わせている。 emphEntropy-Calibrated Redistribution (ECR) は、署名された教師-旧来のトークンギャップを使用して、検証者由来のコンポーネントを再配布する。
  論文  参考訳（メタデータ） (2026-09-23T16:58:26Z)
• REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
  REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。 信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
  論文  参考訳（メタデータ） (2026-08-12T06:15:33Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• Teacher-Guided Policy Optimization for LLM Distillation [90.49982387646861]
  Teacher-Guided Policy Optimization (TGPO) は、生徒のロールアウトに条件付き教師予測を活用することで、高密度な方向性誘導を取り入れたオンラインアルゴリズムである。 複雑な推論ベンチマークの実験では、TGPOは標準ベースラインを著しく上回り、異なる教師にとって堅牢であることが示されている。
  論文  参考訳（メタデータ） (2026-05-13T09:20:03Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• CPPO: Accelerating the Training of Group Relative Policy Optimization-Based Reasoning Models [77.16976971950785]
  本稿では、推論モデルの学習を高速化するために、CPPO(Completion Pruning Policy Optimization)を提案する。 CPPOは絶対的なアドバンテージを低く保ち、勾配計算や更新に必要な数を大幅に削減する。 実験の結果、CPPOはGSM8Kで最大7.98タイム、Mathで3.48タイムで最大7.48タイム、オリジナルのGRPOと比較して精度を保っている。
  論文  参考訳（メタデータ） (2025-03-28T11:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。