論文の概要: CoDistill-GRPO: A Co-Distillation Recipe for Efficient Group Relative Policy Optimization

• arxiv url: http://arxiv.org/abs/2605.08873v1
• Date: Sat, 09 May 2026 10:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.945184
• Title: CoDistill-GRPO: A Co-Distillation Recipe for Efficient Group Relative Policy Optimization
• Title（参考訳）: CoDistill-GRPO:効率的なグループ相対的政策最適化のための共蒸留レシピ
• Abstract要約: CoDistill-GRPOは、慎重に設計されたGRPO目標を最大化することによって、大きくて小さなモデルを訓練する。 本稿では,CoDistill-GRPOが,数学ベンチマークにおいて標準GRPOよりも小型モデルの性能を大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 44.89352985527275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group Relative Policy Optimization (GRPO) has emerged as a powerful algorithm for improving the reasoning capabilities of language models, but often fails to improve small models due to sparse rewards on difficult tasks. Existing works mitigate this issue by leveraging a larger model, either to provide hints for rollouts or to provide dense reward signals through knowledge distillation (KD). However, this assumes the existence of such an oracle, and training one can significantly increase total training time. In this work, we propose CoDistill-GRPO, a co-distillation algorithm that simultaneously trains a large and a small model by maximizing carefully designed GRPO objectives. The two models learn from each other: the small model uses an on-policy KD reward to learn from the large model's distribution, while the large model is updated using rollouts generated by the small model with importance reweighting, reducing the computational overhead of rollout generation. We show that CoDistill-GRPO substantially improves small model performance over standard GRPO on mathematical benchmarks across both Qwen and Llama models. Specifically, with Qwen2.5-Math-1.5B, we observe an accuracy increase of over 11.6 percentage points over the base model and an additional 6.0 percentage points over GRPO on the Minerva dataset. Interestingly, the larger model (Qwen2.5-Math-7B) trained with CoDistill-GRPO nearly matches standard GRPO performance despite training on small-model rollouts. This highlights CoDistill-GRPO as a cost-effective alternative to GRPO for larger models, yielding an approximate 18% speedup, which may be of independent interest.
• Abstract（参考訳）: Group Relative Policy Optimization (GRPO) は、言語モデルの推論能力を改善するための強力なアルゴリズムとして登場したが、難しいタスクに対する少ない報酬のために、しばしば小さなモデルを改善するのに失敗する。 既存の作業は、ロールアウトのヒントを提供するか、知識蒸留(KD)を通じて高密度の報酬信号を提供するために、より大きなモデルを活用することでこの問題を軽減する。 しかし、これはそのような神託の存在を前提としており、訓練時間を大幅に増加させることができる。 本研究では,CoDistill-GRPOを提案する。CoDistill-GRPO,CoDistill-GRPO,CoDistill-GRPO,CoDistill-GRPO,CoDistill-GRPO,CoDistill-GRPO,CoDistill- GRPO,CoDistill-GRPO。 2つのモデルは互いに学習し合い、小さなモデルは大規模モデルの分布から学習するために政治上のKD報酬を使用し、大きなモデルは重要で再重み付けされた小さなモデルによって生成されたロールアウトを使用して更新され、ロールアウト生成の計算オーバーヘッドが減少する。 本稿では,QwenモデルとLlamaモデルの両方の数学的ベンチマークにおいて,CoDistill-GRPOが標準GRPOよりも小モデル性能を大幅に向上することを示す。 具体的には、Qwen2.5-Math-1.5Bでは、ベースモデルの精度が11.6ポイント以上上昇し、MinervaデータセットのGRPOよりも6.0ポイント高い。 興味深いことに、CoDistill-GRPOで訓練された大型モデル(Qwen2.5-Math-7B)は、小型モデルのロールアウトのトレーニングにもかかわらず、標準のGRPOのパフォーマンスとほぼ一致した。 これは、CoDistill-GRPOがGRPOのより大きなモデルに対する費用対効果の代替として強調され、ほぼ18%のスピードアップとなり、これは独立した関心を持つ可能性がある。

関連論文リスト

• Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO [80.3917290909154]
  サンプル数が増加するにつれて、小さなモデルは本質的に、より優れたパス@kによって示されるポリシーレベルの多様性を示す。 本研究では,S2L-PO(Small-to-Large Policy Optimization)を提案する。 S2L-POは、様々な数学的推論ベンチマーク(例えば、AIME 24で1.7Bエクスプローラーを使用して8Bモデルをガイドする+8.8%)の精度を改善し、ロールアウト計算を削減している。
  論文  参考訳（メタデータ） (2026-05-29T03:25:56Z)
• F-TIS: Harnessing Diverse Models in Collaborative GRPO [6.113106953880909]
  Filtered Truncated Importance Smpling (F-TIS)はGRPOスタイルのトレーニングパラダイムであり、ローカルモデルの学習を改善するために、オフ・ポリティクスのサンプルを使用することができる。 F-TISは、純粋に政治訓練と同一の最終モデル収束を示す。
  論文  参考訳（メタデータ） (2026-05-21T14:25:24Z)
• OP-GRPO: Efficient Off-Policy GRPO for Flow-Matching Models [14.396100082949005]
  本稿では,フローマッチングモデルに適したOff-Policy GRPOフレームワークであるOP-GRPOを提案する。 高品質なトラジェクトリを積極的に選択し、それらをリプレイバッファに適応的に組み込んで、その後のトレーニングイテレーションで再利用する。
  論文  参考訳（メタデータ） (2026-04-05T15:00:29Z)
• iGRPO: Self-Feedback-Driven LLM Reasoning [88.83313431248473]
  大規模言語モデル(LLM)は複雑な数学的問題を解く上で有望であるが、正確で一貫したソリューションを生み出すには至っていない。 IGRPO(Iterative Group Relative Policy Optimization)は、モデル生成ドラフトを通じて動的自己条件を追加するGRPOの2段階拡張である。 一致するロールアウト予算の下では、iGRPOはGRPOをベースモデルで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:45:11Z)
• GRPO-RM: Fine-Tuning Representation Models via GRPO-Driven Reinforcement Learning [52.16150076582931]
  我々は、表現モデル(GRPO-RM)のためのグループ相対ポリシー最適化を提案する。 我々の手法は,大規模言語モデル(LLM)におけるトークンシーケンスサンプリングを機能的に置き換えるための事前定義された出力セットを確立する。 特殊報酬関数は表現モデルの性質を満たすように設計されている。
  論文  参考訳（メタデータ） (2025-11-19T09:19:39Z)
• KCM: KAN-Based Collaboration Models Enhance Pretrained Large Models [62.658961779827145]
  大規模モデルコラボレーションにおける改良手法として,Kan-based Collaborative Model (KCM)を提案する。 Kanは、破滅的な忘れを緩和しながら、優れた視認性と解釈性を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:06:21Z)
• URPO: A Unified Reward & Policy Optimization Framework for Large Language Models [10.511836918064724]
  本稿では,1つのモデルと1つのトレーニングフェーズにおいて,命令フォロー(プレイヤ)と報酬モデリング(参照)を統一する新しいフレームワークを提案する。 提案手法は,全てのアライメントデータを含む選好ペア,検証可能な推論,オープンな命令を統一された生成形式に再キャストする。 Qwen2.5-7Bモデルの実験はURPOの優位性を示している。
  論文  参考訳（メタデータ） (2025-07-23T13:52:27Z)
• GRPO-LEAD: A Difficulty-Aware Reinforcement Learning Approach for Concise Mathematical Reasoning in Language Models [0.3831554157916835]
  グループ相対政策最適化(GRPO)はR1のような推論モデルで広く採用されている。 GRPO-LEAD は,(1) 精度を維持しながら簡潔さを向上するための長規則化報酬,(2) モデル精度を向上させるための不正解に対する明確な罰則,(3) 難解な問題に対する堅牢な一般化のための困難に配慮した有利な再重み付けを提案する。 提案手法は,14Bスケールモデルに対する最先端性能を実現し,適切なモデルスケールと高品質なデータを用いた手法の相乗効果を実証する。
  論文  参考訳（メタデータ） (2025-04-13T19:07:45Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。