論文の概要: Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training

• arxiv url: http://arxiv.org/abs/2605.12483v1
• Date: Tue, 12 May 2026 17:57:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:57.077427
• Title: Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training
• Title（参考訳）: GRPO と On-Policy Distillation を超えて: 言語モデル後学習のための経験的スパース・ツー・デンス・リワード原理
• Abstract要約: 報酬密度の原則を見落としているため、これはしばしば非効率な割り当てであると主張する。 この観点からは、GRPOスタイルのスパースRLとOPDスタイルの密集教師監督は別個のレシピではない。
• 参考スコア（独自算出の注目度）: 20.04756350098974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In settings where labeled verifiable training data is the binding constraint, each checked example should be allocated carefully. The standard practice is to use this data directly on the model that will be deployed, for example by running GRPO on the deployment student. We argue that this is often an inefficient allocation because it overlooks a reward-density principle: sparse sequence-level reward should train models where exploration is productive, while dense token-level teacher reward should be used where the aim is to compress behavior into a smaller model. In this view, GRPO-style sparse RL and OPD-style dense teacher supervision are not separate recipes; they are different reward-density regimes. The allocation rule is simple: use scarce labeled training data upstream on the strongest model that can turn it into reward-shaped behavior, then transfer that behavior downstream as dense supervision. We evaluate this rule on verifiable math with Qwen3 and Llama models. At fixed Qwen3-1.7B deployment-student size, an RL-improved 8B teacher distilled through the dense bridge outperforms direct GRPO on the same student, while transfer from the same teacher before RL underperforms. The bridge is important: a forward-KL warmup on teacher rollouts followed by OPD on student rollouts is consistently strongest on MATH before any post-bridge student-side sparse RL, and also gives the best pre-Stage~3 AIME endpoints for the canonical 8B/14B teachers. The bridge also makes later student-side sparse RL effective: GRPO that is weak on a cold student lifts MATH from $75.4\%$ to $78.5\%$ after the bridge and outperforms a matched replay control by $2.8$ points. The operational principal is to avoid using scarce labeled data on the least prepared policy: use sparse reward for teacher-side discovery, dense transfer for student compression, and student-side sparse reward only after the bridge.
• Abstract（参考訳）: ラベル付き検証可能なトレーニングデータがバインディング制約である場合、チェックされた各例を慎重に割り当てるべきである。 標準のプラクティスは、このデータをデプロイされるモデルに直接使用することです。 スパース・シークエンス・レベルの報酬は、探索が生産的であるモデルを訓練するべきであり、一方で、より密集したトークンレベルの教師報酬は、より小さなモデルに振る舞いを圧縮することを目的としたものであるべきである。 この観点では、GRPOスタイルのスパースRLとPDスタイルの密集教師監督は別個のレシピではなく、報酬密度の異なる制度である。 配置ルールは単純で、最強のモデル上でラベル付けされたトレーニングデータを上流で使用することで、報酬型の振る舞いにし、より密集した監視として下流に振る舞うことができる。 このルールをQwen3およびLlamaモデルを用いて検証可能な数学で評価する。 固定Qwen3-1.7Bでは、RLを改良した8Bの教師が高密度の橋を通して蒸留し、同じ学生でGRPOを上回り、RLが下向きになる前に同じ教師から転送する。 教師のロールアウトのフォワードKLウォームアップと、学生のロールアウトのOPDは、ポストブリッジの学生側のスパースRLの前に、MATH上で一貫して最強であり、標準8B/14B教師にとって、最高のプレステージ〜3 AIMEエンドポイントを提供する。 この橋はまた、後の学生側のスパースRLを効果的にしている: 寒冷な学生に弱いGRPOは、橋の後に75.4.%から78.5.%までMATHを持ち上げ、マッチしたリプレイコントロールを2.8ドルポイントで上回る。 運用の主目的は、教師側の発見にスパース報酬、学生の圧縮に密度の高い転送、橋梁の後にのみ生徒側のスパース報酬を使用するという、最も準備の浅い政策に関するラベル付きデータの使用を避けることである。

関連論文リスト

• StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding [16.629848186775718]
  検証可能な報酬を伴う強化学習は、この体制に不適合であり、長い思考と答えの世代を奨励する。 オンライン蒸留は、学生の軌跡に密集したトークンレベルの教師の監督を提供するが、どちらのモデルも思考モードで訓練した場合のみ安定している。 オープンソースストリーミングビデオ研究のための透過的で再現可能なリファレンスを提供する。
  論文  参考訳（メタデータ） (2026-08-17T09:25:36Z)
• Teach the Magnitude, Not the Direction: Verifier-Bounded Credit Assignment for Multi-Turn Multi-step LLM Agents [15.12019413574721]
  検証可能な報酬を用いた強化学習は、不均一なターン毎の結果を単一の報酬信号に融合させる。 オンライン蒸留は、トーケンあたりの密集した監督を提供するが、教師が拘束されるか、勾配の集中が崩壊する傾向にある。 我々は、RLの検証済み天井を保持する階層的な信用代入フレームワークであるtextbfCrEST$を導入し、特権付き自己教育者からの高密度トークンレベル信号を取り入れた。
  論文  参考訳（メタデータ） (2026-08-13T12:44:37Z)
• REOPD: Reliability-Adaptive Reward Extrapolation for On-Policy Distillation [10.492445451268727]
  REOPDは、オンデマンド蒸留のための信頼性適応型報酬外挿フレームワークである。 信頼性の高い教師参照方向に沿って選択的に外挿しながら、教師のアライメントを保ちます。
  論文  参考訳（メタデータ） (2026-08-12T06:15:33Z)
• ReOrder-OPD:Reliability-Aware Prompt Ordering for On-Policy Distillation [25.69241346799495]
  我々は,教師が生徒の接頭辞から正しい回答を得られる確率として,プロンプトレベルの教師継続信頼性を$R$と定義する。 我々は、高いR$プロンプトがより大きなOPDゲインをもたらし、下降するR$トレーニングがランダムな順序と上昇順序より優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-11T13:27:56Z)
• Distill Where You Fail: Recovering Learning Signals of Negative RL-Groups from Adaptive Teacher Guidance [50.77757355236912]
  本稿では,RSTG(Recovering Learning Signals via Adaptive Teacher Guidance)を提案する。 RSTGは数学では+4.02%、コードでは+3.05%の速さでGRPO+OPDを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-08-01T17:29:14Z)
• $β$-OPSD: Deriving with Policy Optimization, Training with Self-Distillation [85.07190808882523]
  オンライン自己蒸留は推論言語モデルを改善するための有望なアプローチである。 我々は,$-OPSDがバニラOPSDを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-07-30T17:41:16Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
  本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。 VIGORはポリシーモデルのみを使用する単純な報酬です。 数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
  論文  参考訳（メタデータ） (2026-05-11T03:15:37Z)
• On-Policy Distillation with Best-of-N Teacher Rollout Selection [54.91780727674628]
  本報告では, オンライン蒸留のためのベスト・オブ・Nロールアウト教員選抜フレームワークBRTSを提案する。 BRTSは、教師軌道から構築された教師コンテキスト管理ブランチで、標準の学生コンテキストOPDを強化する。 BRTSは、挑戦的な推論ベンチマークにおいて、標準的なPDよりも改善されており、より難しいデータセットに対して最大の利益がある。
  論文  参考訳（メタデータ） (2026-05-10T19:49:00Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Positive-Unlabeled Reinforcement Learning Distillation for On-Premise Small Models [130.8912476550625]
  そこで本研究では, 現場での小型モデル展開のための正の無ラベル(PU)強化学習蒸留法を提案する。 本手法は,教師の好み最適化能力をブラックボックス世代から地元の訓練可能な学生に蒸留する。 実験により,本手法は低コストで一貫した強靭な性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-01-28T15:14:50Z)
• Learning to Reason as Action Abstractions with Scalable Mid-Training RL [55.24192942739207]
  効果的な中間訓練フェーズは、有用なアクションのコンパクトなセットを特定し、高速な選択を可能にする。 本稿では,スケーラブルなミッドトレーニングアルゴリズムであるReasoning as Action Abstractions (RA3)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:34:20Z)
• Compute as Teacher: Turning Inference Compute Into Reference-Free Supervision [26.922922043969958]
  我々は、コンピュータ・アズ・教師(CaT)による調査を監督に転換することを提案する。 CaTは平行ロールアウトのグループから単一の参照を合成し、それに向けて最適化する。 テストタイムの手順として、CaTはGemma 3 4B、Qwen 3 4B、Llama 3.1 8Bを改善している。
  論文  参考訳（メタデータ） (2025-09-17T17:59:42Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning [54.585428241509234]
  逆カリキュラム強化学習(RL)によるR$3の学習推論を提案する。 RLは、大規模言語モデルのプロセス監視の利点を達成するために、結果監視のみを採用する。
  論文  参考訳（メタデータ） (2024-02-08T16:46:26Z)
• Distilling Object Detectors with Task Adaptive Regularization [97.52935611385179]
  現在の最先端のオブジェクト検出器は高い計算コストを犠牲にしており、ローエンドデバイスへのデプロイが困難である。 より大規模な教師モデルから知識を伝達することで、より小さな学生ネットワークを訓練することを目的とした知識蒸留は、モデル小型化のための有望な解決策の1つである。
  論文  参考訳（メタデータ） (2020-06-23T15:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。