論文の概要: Comparative Analysis and Parametric Tuning of PPO, GRPO, and DAPO for LLM Reasoning Enhancement
- arxiv url: http://arxiv.org/abs/2512.07611v1
- Date: Mon, 08 Dec 2025 14:58:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.934877
- Title: Comparative Analysis and Parametric Tuning of PPO, GRPO, and DAPO for LLM Reasoning Enhancement
- Title（参考訳）: LLM推論強化のためのPPO,GRPO,DAPOの比較解析とパラメトリックチューニング
- Authors: Yongsheng Lian,
- Abstract要約: 本研究では,大規模言語モデル(LLM)における複雑な推論を改善するために,3つの強化学習(RL)アルゴリズムを体系的に比較する。
RL学習モデルは,ベンチマークによって改善度が異なるが,対応するベースモデルよりも優れていることがわかった。
GRPO と DAPO におけるグループサイズの増加は、KL-ペナルティ係数の影響が非単調であるのに対して、より安定したトレーニングダイナミクスと高い精度をもたらす。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This study presents a systematic comparison of three Reinforcement Learning (RL) algorithms (PPO, GRPO, and DAPO) for improving complex reasoning in large language models (LLMs). Our main contribution is a controlled transfer-learning evaluation: models are first fine-tuned on the specialized Countdown Game and then assessed on a suite of general-purpose reasoning benchmarks. Across all tasks, RL-trained models outperform their corresponding base models, although the degree of improvement differs by benchmark. Our parametric analysis offers practical guidance for RL-based LLM training. Increasing the group size in GRPO and DAPO leads to more stable training dynamics and higher accuracy, while the impact of the KL-penalty coefficient is non-monotonic. Additionally, we find that the Dynamic Sampling (DS) component in DAPO does not improve performance; in fact, the best overall results are achieved with DAPO when DS is disabled.
- Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)における複雑な推論を改善するために,3つの強化学習(RL)アルゴリズム(PPO,GRPO,DAPO)を体系的に比較した。
モデルはまず、特殊なカウントダウンゲームで微調整され、次に汎用推論ベンチマークで評価される。
すべてのタスクにおいて、RL学習モデルは対応するベースモデルよりも優れているが、改善の度合いはベンチマークによって異なる。
パラメトリック分析は、RLに基づくLLMトレーニングの実践的ガイダンスを提供する。
GRPO と DAPO におけるグループサイズの増加は、KL-ペナルティ係数の影響が非単調であるのに対して、より安定したトレーニングダイナミクスと高い精度をもたらす。
さらに,DAPOの動的サンプリング(DS)コンポーネントは性能を向上しないことがわかった。
関連論文リスト
- Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models [50.84995206660551]
本研究では,条件付きアドバンテージ・エスティマティオン(CANON)を導入し,その方向を推定せずに目標距離の影響を増幅する。
エントロピーに基づくCANONは、数学推論と高複雑性論理タスクの両方において、従来手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2025-09-28T16:33:07Z) - Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。
SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。
我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
論文 参考訳（メタデータ） (2025-06-05T07:53:59Z) - KDRL: Post-Training Reasoning LLMs via Unified Knowledge Distillation and Reinforcement Learning [72.53466291156604]
教師の指導(KD)と自己探索(RL)を通じて推論モデルを協調的に最適化するテキスト化後学習フレームワークである textbfKDRL を提案する。
まず、GRPOとKDを統合する統一目的を定式化し、異なるKL近似、KL係数、報酬誘導KD戦略が学習後の全体的なダイナミクスと性能にどのように影響するかを体系的に検討する。
論文 参考訳（メタデータ） (2025-06-02T19:46:41Z) - Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。
数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
論文 参考訳（メタデータ） (2025-04-10T17:15:53Z) - Enhancing LLM Reasoning with Iterative DPO: A Comprehensive Empirical Investigation [29.579349371114702]
DPO(Direct Preference Optimization)は、大規模言語モデル(LLM)のための強化学習(RL)に代わる費用効率の良い代替手段である。
粗いフィルタ付き1ラウンドのDPOが数学的推論性能を大幅に向上させることを示す。
単純な検証可能な報奨により,計算オーバーヘッドを大幅に低減したRLレベルの性能を実現する。
論文 参考訳（メタデータ） (2025-03-17T06:28:25Z) - Improving Multi-Step Reasoning Abilities of Large Language Models with Direct Advantage Policy Optimization [22.67700436936984]
ステップレベルのオフライン強化学習アルゴリズムであるDAPO(Direct Advantage Policy Optimization)を導入する。
DAPOは、各ステップにおける推論精度を予測するために批判機能を使用し、それによって高密度信号を生成して生成戦略を洗練させる。
その結果,DAPO は SFT モデルと RL モデルの両方の数学的・コード的能力を効果的に向上し,DAPO の有効性を示すことができた。
論文 参考訳（メタデータ） (2024-12-24T08:39:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。