論文の概要: GRPO-LEAD: A Difficulty-Aware Reinforcement Learning Approach for Concise Mathematical Reasoning in Language Models

• arxiv url: http://arxiv.org/abs/2504.09696v2
• Date: Fri, 19 Sep 2025 23:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 14:36:44.976254
• Title: GRPO-LEAD: A Difficulty-Aware Reinforcement Learning Approach for Concise Mathematical Reasoning in Language Models
• Title（参考訳）: GRPO-LEAD:言語モデルにおける簡潔な数学的推論のための難易度を考慮した強化学習手法
• Authors: Jixiao Zhang, Chunsheng Zuo,
• Abstract要約: グループ相対政策最適化(GRPO)はR1のような推論モデルで広く採用されている。 GRPO-LEAD は,(1) 精度を維持しながら簡潔さを向上するための長規則化報酬,(2) モデル精度を向上させるための不正解に対する明確な罰則,(3) 難解な問題に対する堅牢な一般化のための困難に配慮した有利な再重み付けを提案する。 提案手法は,14Bスケールモデルに対する最先端性能を実現し,適切なモデルスケールと高品質なデータを用いた手法の相乗効果を実証する。
• 参考スコア（独自算出の注目度）: 0.3831554157916835
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Group Relative Policy Optimization (GRPO), which is widely adopted by R1-like reasoning models, has advanced mathematical reasoning. Nevertheless, GRPO faces challenges in reward sparsity, verbosity, and inadequate focus on problem difficulty. We propose GRPO-LEAD, enhancing GRPO with: (1) length-regularized rewards to encourage conciseness while maintaining accuracy; (2) explicit penalties for incorrect solutions to improve model precision; and (3) difficulty-aware advantage reweighting for robust generalization on challenging problems. Comprehensive evaluations demonstrate that GRPO-LEAD significantly improves reasoning accuracy, conciseness, and efficiency. Our approach achieves state-of-the-art performance for 14B-scale models, underscoring the synergy of our methods with appropriate model scale and high-quality data. Our source code, generated dataset, and models are available at https://github.com/aeroplanepaper/GRPO-LEAD.
• Abstract（参考訳）: グループ相対政策最適化(GRPO)は、R1のような推論モデルで広く採用されており、高度な数学的推論を持っている。 それでもGRPOは、報酬の幅、冗長性、問題の難しさに焦点を合わせていないという課題に直面している。 GRPO-LEAD は,(1) 精度を維持しながら簡潔さを向上するための長規則化報酬,(2) モデル精度を向上させるための不正解に対する明確な罰則,(3) 難解な問題に対する堅牢な一般化のための困難に配慮した有利な再重み付けを提案する。 総合評価の結果,GRPO-LEADは推論精度,簡潔性,効率性を著しく向上することが示された。 提案手法は,14Bスケールモデルに対する最先端性能を実現し,適切なモデルスケールと高品質なデータを用いた手法の相乗効果を実証する。 ソースコード、生成されたデータセット、モデルはhttps://github.com/aeroplanepaper/GRPO-LEAD.comで公開されています。

関連論文リスト

• LAPO: Internalizing Reasoning Efficiency via Length-Adaptive Policy Optimization [48.91511514636768]
  本稿では,外部制約から固有モデル能力へ推論長制御を変換するフレームワークであるLongth-Adaptive Policy Optimization (LAPO)を提案する。 LAPOは、2段階の強化学習プロセスを通じて適切な推論深度を理解することができる。 数学的推論ベンチマークの実験では、LAPOはトークンの使用量を最大40.9%削減し、精度は2.3%向上した。
  論文  参考訳（メタデータ） (2025-07-21T16:14:41Z)
• Scaling Up RL: Unlocking Diverse Reasoning in LLMs via Prolonged Training [121.5858973157225]
  本研究では,長期強化学習が多種多様な推論領域にまたがる小言語モデルに及ぼす影響について検討する。 我々は,長期的パフォーマンス向上の鍵となる重要な要素として,制御KL正規化,クリッピング率,定期参照ポリシーリセットを導入する。 私たちのモデルは、数学の+14.7%、コーディングの+13.9%、論理パズルの+54.8%など、強力なベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-07-16T17:59:24Z)
• KunLunBaizeRAG: Reinforcement Learning Driven Inference Performance Leap for Large Language Models [4.637288682081713]
  KunLunBaizeRAGは、複雑なマルチホップ質問応答タスクにおける大規模言語モデル(LLM)の推論能力を高めるために設計された強化学習駆動推論フレームワークである。 主なイノベーションとしては、RAG駆動のReasoning Alignment(RDRA)メカニズム、検索-Think Iterative Enhancement(STIE)メカニズム、Network-Local Intelligent Routing(NLR)メカニズム、プログレッシブハイブリッドトレーニング戦略などがある。
  論文  参考訳（メタデータ） (2025-06-24T09:48:01Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [82.43575191712726]
  本稿では,強化学習が推論に与える影響を明らかにするための,きめ細かい分析フレームワークを提案する。 本フレームワークは,RLトレーニングの恩恵を受けると仮定された重要な要素を具体的に調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [55.06360285372418]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 本研究では,2次報酬設定の下でGRPOの目的を解析し,質問レベルの難易度バイアスの固有の制限を明らかにする。 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)
• Learning Like Humans: Advancing LLM Reasoning Capabilities via Adaptive Difficulty Curriculum Learning and Expert-Guided Self-Reformulation [5.793561443238794]
  本稿では,大規模言語モデルの複雑な問題を解決する能力を高めるための2つの新しい戦略を提案する。 まず,適応困難カリキュラム学習(adaptive Difficulty Curriculum Learning,ADCL)は,難易度シフト(Difficulty Shift)現象に対処する新しいカリキュラム学習戦略である。 第2に、Expert-Guided Self-Reformulation(EGSR)は、模倣学習と純粋探索のギャップを埋める新しい強化学習戦略である。
  論文  参考訳（メタデータ） (2025-05-13T09:10:48Z)
• Training Large Language Models to Reason via EM Policy Gradient [0.27195102129094995]
  LLM推論を強化するために、政治以外の強化学習アルゴリズムEM Policy Gradientを導入する。 GSM8KとMATH(HARD)データセットに対するEM Policy Gradientの有効性を評価する。 本手法で微調整したモデルでは, サブプロブレム分解, 自己検証, バックトラッキングなどの認知行動を示す。
  論文  参考訳（メタデータ） (2025-04-24T01:31:05Z)
• Improving Multilingual Retrieval-Augmented Language Models through Dialectic Reasoning Argumentations [65.11348389219887]
  そこで,Dialectic-RAG(Dialectic-RAG, DRAG)を提案する。 我々は、文脈内学習戦略と、より小さなモデルをインストラクションするための実演の構築の両方において、我々のフレームワークが与える影響を示す。
  論文  参考訳（メタデータ） (2025-04-07T06:55:15Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• A Survey on Post-training of Large Language Models [185.51013463503946]
  大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。 これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。 本稿では,5つのコアパラダイムにまたがるPoLMの進化を体系的に追跡する,最初の包括的調査について述べる。
  論文  参考訳（メタデータ） (2025-03-08T05:41:42Z)
• SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
  大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。 本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。 我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
  論文  参考訳（メタデータ） (2024-11-17T12:31:04Z)
• Optimal Query Allocation in Extractive QA with LLMs: A Learning-to-Defer Framework with Theoretical Guarantees [3.4289478404209826]
  大規模言語モデルは生成タスクでは優れているが、構造化されたテキスト選択では非効率である。 本稿では,専門的な専門家にクエリを割り当て,信頼性の高い予測を確実にする学習者向けフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-21T08:21:00Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [49.362750475706235]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• The Role of Deductive and Inductive Reasoning in Large Language Models [37.430396755248104]
  本稿では,大規模言語モデル(LLM)推論を強化するために,DID法を提案する。 DIDはリトルストーン次元と情報エントロピーを組み合わせた2次元複雑度評価システムを実装している。 その結果,推理精度と解の精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-03T18:30:47Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Thinking Aloud: Dynamic Context Generation Improves Zero-Shot Reasoning Performance of GPT-2 [6.037255578530709]
  動的問題解明は,推論と自然言語推論のタスクにおいて,gpt-2のゼロショット性能を大幅に改善することを示す。 特に、元の問題記述に最も忠実な説明は、精度を最大24%向上させる可能性がある。
  論文  参考訳（メタデータ） (2021-03-24T07:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。