論文の概要: Limits of Difficulty Scaling: Hard Samples Yield Diminishing Returns in GRPO-Tuned SLMs

• arxiv url: http://arxiv.org/abs/2604.06298v1
• Date: Tue, 07 Apr 2026 17:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.16139
• Title: Limits of Difficulty Scaling: Hard Samples Yield Diminishing Returns in GRPO-Tuned SLMs
• Title（参考訳）: 難スケーリング限界:GRPO-Tuned SLMにおけるハードサンプル収率低減効果
• Authors: Suraj Yadav, Siddharth Yadav, Parth Goyal,
• Abstract要約: 確率質量をより良い解へシフトさせることにより、選好最適化が推論を改善することを示す。 GRPOのトレーニングは、難易度をまたいだ全データセットの精度に適合するが、45%のトレーニングステップしか使用していない。 GSM8KトレーニングされたGRPOは、MATHトレーニングされたGRPOよりもMATHの数値サブセットの方が精度が高く、1.5Bで5%、3Bで3%を超える。
• 参考スコア（独自算出の注目度）: 0.871725390496537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent alignment work on Large Language Models (LLMs) suggests preference optimization can improve reasoning by shifting probability mass toward better solutions. We test this claim in a resource-constrained setting by applying GRPO with LoRA to SLMs (up to 3B) for math reasoning on GSM8K and MATH datasets with difficulty-stratified analyses. As problem difficulty increases, accuracy plateaus, revealing a capacity boundary: GRPO primarily reshapes output preferences without reliably improving hardest-tier solving. Consistent with this, training GRPO only on lower-difficulty problems matches full-dataset accuracy across difficulty tiers while using only ~45% training steps, indicating diminishing returns from harder samples in this regime. We also find a cross-dataset generalization effect: GSM8K-trained GRPO achieves higher accuracy on the numeric subset of MATH than MATH-trained GRPO, exceeding it by ~5% at 1.5B and by ~3% at 3B. We show that the best achievable gains depend strongly on the base model's prior reasoning competence and the dataset's difficulty profile.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs) のアライメント作業では、確率質量をより良い解へシフトすることで、優先順位付けの最適化が推論を改善することが示唆されている。 本稿では,GSM8K と MATH のデータセットを解析的に解析するために,GRPO を LoRA を用いて SLM に適用し(最大 3B まで),資源制約のある環境で検証する。 GRPOは主に出力の選好を、最も難易度の高い解法を確実に改善することなく、再評価する。 これとは対照的に、GRPOのトレーニングは低微分問題にのみ適用され、難易度層間で完全なデータセットの精度が一致し、わずか45%のトレーニングステップしか使用せず、この体制の厳しいサンプルからのリターンが減少することを示している。 GSM8Kで訓練されたGRPOは、MATHで訓練されたGRPOよりもMATHの数値サブセットの方が精度が高く、1.5Bで約5%、3Bで約3%以上である。 達成可能な最良のゲインは、ベースモデルの事前推論能力とデータセットの難易度プロファイルに強く依存していることを示す。

関連論文リスト

• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Scaf-GRPO: Scaffolded Group Relative Policy Optimization for Enhancing LLM Reasoning [49.290631188365786]
  Scaf-GRPOは、モデルの独立した学習が停滞した時に介入するトレーニングフレームワークである。 これはQwen2.5-Math-7Bモデルのパス@1スコアを、バニラGRPOベースラインよりも44.3%向上させる。 この結果から、我々のフレームワークは、それまで到達範囲を超えていた問題を解決するモデルの能力を解き放つ、堅牢で効果的な方法論を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-22T17:41:30Z)
• DARO: Difficulty-Aware Reweighting Policy Optimization [18.07946696398167]
  RLVR(Reinforcement Learning with Verifiable Rewards)の事実上のアプローチとしてグループ相対政策最適化(GRPO)が登場した。 サンプルの難易度に結びついた静的あるいは過度に単純化された重み付けスキームへの依存が、モデルの進化する機能への適応を妨げていることを示す統一ビューを提供する。 本稿では,bfbfDifficulty-Aware Reweighting Policy Optimization (DARO)を紹介する。
  論文  参考訳（メタデータ） (2025-10-10T04:57:15Z)
• Think Right: Learning to Mitigate Under-Over Thinking via Adaptive, Attentive Compression [68.69801176669843]
  本稿では,冗長なステップを誘発し,難易度を推定するオンラインポストトレーニングRL手法を提案する。 TRAAC(Think Right with Adaptive, Attentive Compression)は、絶対精度が平均8.4%向上する。 我々のモデルは数学データセットに基づいて訓練されているが、分布外データセットの精度と効率性を示す。
  論文  参考訳（メタデータ） (2025-10-02T02:00:20Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Hard Examples Are All You Need: Maximizing GRPO Post-Training Under Annotation Budgets [0.09558392439655013]
  最も難しい例(ベースモデルが最も失敗する部分)の10%をトレーニングすると、劇的なパフォーマンスが最大47%向上する。 ハードサンプルは、AIME2025ベンチマークで有意義な利得を達成しているのは、ハードトレーニングされたモデルのみである。
  論文  参考訳（メタデータ） (2025-08-15T01:14:06Z)
• GRPO-LEAD: A Difficulty-Aware Reinforcement Learning Approach for Concise Mathematical Reasoning in Language Models [0.3831554157916835]
  グループ相対政策最適化(GRPO)はR1のような推論モデルで広く採用されている。 GRPO-LEAD は,(1) 精度を維持しながら簡潔さを向上するための長規則化報酬,(2) モデル精度を向上させるための不正解に対する明確な罰則,(3) 難解な問題に対する堅牢な一般化のための困難に配慮した有利な再重み付けを提案する。 提案手法は,14Bスケールモデルに対する最先端性能を実現し,適切なモデルスケールと高品質なデータを用いた手法の相乗効果を実証する。
  論文  参考訳（メタデータ） (2025-04-13T19:07:45Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。