論文の概要: A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO

• arxiv url: http://arxiv.org/abs/2610.13669v1
• Date: Fri, 09 Oct 2026 14:37:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.625273
• Title: A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
• Title（参考訳）: 歩幅を狭くしないステップハード : GRPOにおけるカリキュラム難読化のメリットと限界
• Abstract要約: 段階的難易度は, 永続的中差選択よりも優れるが, その利点は非単調である。 したがって、有効なGRPOキュリキュラは、過度に難しいサンプルへの過度な進行を回避しながら、中程度の難易度を超える進行の恩恵を受けることができる。
• 参考スコア（独自算出の注目度）: 10.99990097123203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Curriculum learning typically organizes training samples from easy to hard. In GRPO, medium-difficulty samples are attractive for online selection because they are more likely to yield informative group-relative learning signals, and prioritizing them can improve training efficiency. However, it remains unclear whether persistently selecting such samples also leads to the strongest final model performance, or whether training can benefit from progressing toward harder samples. Meanwhile, sample difficulty changes as the policy evolves, so fixed difficulty estimates can become misaligned with the current policy. We therefore re-estimate sample difficulty under the current policy and, inspired by the easy-to-hard principle of curriculum learning, design and evaluate a staged curriculum that progressively shifts the active difficulty band toward harder samples. Experiments on GSM8K show that persistent medium-difficulty selection does not achieve the strongest observed performance. Across three random seeds, progressing to a moderately harder difficulty band improves test accuracy to $0.6591 \pm 0.0077$, compared with $0.6449 \pm 0.0024$ for the fixed-medium curriculum. However, further progression to a harder difficulty band reduces accuracy to $0.6405 \pm 0.0053$. These results show that staged difficulty progression can outperform persistent medium-difficulty selection, but its benefit is non-monotonic. Effective GRPO curricula can therefore benefit from progressing beyond medium difficulty, while avoiding excessive progression toward overly difficult samples.}
• Abstract（参考訳）: カリキュラム学習は通常、簡単なものから難しいものまで、トレーニングサンプルを整理する。 GRPOでは、情報的グループ関連学習信号が得られやすいため、中分化型サンプルはオンライン選択にとって魅力的なものであり、優先順位付けによってトレーニング効率が向上する可能性がある。 しかし、このようなサンプルを絶え間なく選択することは、最強の最終的なモデル性能につながるのか、あるいは、より難しいサンプルへ進むことの恩恵を受けることができるのかは、まだ不明である。 一方、政策の進展に伴ってサンプル難易度が変化するため、固定難易度推定は現在の政策と不一致となる可能性がある。 そこで我々は,現在の政策下でのサンプル難易度を再評価し,カリキュラム学習の容易かつハードな原則に触発されて,アクティブな難易度帯をより難しいサンプルへと段階的にシフトさせる段階的なカリキュラムを設計し,評価する。 GSM8Kでの実験では、永続的な中分散選択は観測性能が最強であることが示されている。 3つのランダムシード全体で、適度に難しいバンドに進むと、試験精度は0.6591 \pm 0.0077$に向上し、固定型カリキュラムでは0.6449 \pm 0.0024$に向上する。 しかし、難しいバンドへのさらなる進歩は、精度を0.6405 \pm 0.0053$に下げる。 これらの結果から,段階的難易度は中分散選択よりも優れるが,その利点は非単調であることがわかった。 したがって、有効なGRPOキュリキュラは、過度に難しいサンプルへの過度な進行を回避しながら、中程度の難易度を超える進行の恩恵を受けることができる。 ※

関連論文リスト

• Long-Horizon Language Model Reinforcement Learning via Progressive Point Matching [70.73681123064533]
  単純で偏りのない厳密な報酬の定式化(プログレッシブ・ポイントマッチング)は、長い水平タスクに対して指数関数的に効率良くスケールする。 非常に難しい数学推論問題では、粗末な結果報酬は進歩することができないが、セグメントレベルの報酬はより大きなテストタイムトークン予算の改善を可能にする。
  論文  参考訳（メタデータ） (2026-09-07T10:21:41Z)
• D$^2$Evo: Dual Difficulty-Aware Self-Evolution for Data-Efficient Reinforcement Learning [41.94719825003411]
  本稿では,D$2$Evo,Dual Difficulty-aware self-Evolution RLフレームワークを提案する。 各イテレーションにおいて,本手法は中級難易度アンカーをマイニングし,質問者に対して適切な難易度で多様な質問を生成するよう訓練する。 大規模な実験により、D$2$Evoは2K以下の実数学サンプルを持つ数学的推論ベンチマークにおいて、既存の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-05-16T15:16:00Z)
• DARE: Difficulty-Adaptive Reinforcement Learning with Co-Evolved Difficulty Estimation [45.9370934377402]
  強化学習は、大きな言語モデルの推論能力を改善するが、コストがかかり、サンプル非効率である。 我々は,自己正規化重要度サンプリングを通じて,政策と難易度推定を共進化させるフレームワーク**Dare*を提案する。 複数のモデルやドメインにわたる実験では、**Dare**はトレーニング効率、最終的な有効性、推論効率において、既存のメソッドよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-05-09T22:05:59Z)
• Revisiting Generalization Across Difficulty Levels: It's Not So Easy [11.203451380580868]
  本研究では,大規模言語モデルがタスクの難易度によってどのように一般化されるかを検討する。 簡単なデータでも難しいデータでも、あらゆる難易度で一貫した改善を達成できないことを示す。
  論文  参考訳（メタデータ） (2025-11-26T18:59:57Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Hard Examples Are All You Need: Maximizing GRPO Post-Training Under Annotation Budgets [0.09558392439655013]
  最も難しい例(ベースモデルが最も失敗する部分)の10%をトレーニングすると、劇的なパフォーマンスが最大47%向上する。 ハードサンプルは、AIME2025ベンチマークで有意義な利得を達成しているのは、ハードトレーニングされたモデルのみである。
  論文  参考訳（メタデータ） (2025-08-15T01:14:06Z)
• Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding [53.63482987410292]
  本稿では,事前学習言語モデルにより予測される難易度に基づいて,微調整例を優先する自己適応型カリキュラム学習パラダイムを提案する。 本手法は,4つの自然言語理解(NLU)データセットを用いて,二項分類と多項分類の両方を対象とする手法について検討した。
  論文  参考訳（メタデータ） (2025-07-13T19:36:17Z)
• Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective [27.94738910330893]
  強化学習は、大規模言語モデルの推論能力を高める可能性を示す。 既存の手法では,問題問題に基づくスケジューリングによる効率向上が試みられている。 本稿では,問題の正確かつ安定した推定を可能にするtextbfC$ompetence-$textbfD$ifficultyを提案する。
  論文  参考訳（メタデータ） (2025-05-23T09:15:26Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition [79.92240030758575]
  本稿では,カリキュラム学習の概念を損失関数に組み込んだ適応型カリキュラム学習損失(CurricularFace)を提案する。 我々のCurricularFaceは、異なるトレーニング段階における簡単なサンプルとハードサンプルの相対的重要性を適応的に調整する。
  論文  参考訳（メタデータ） (2020-04-01T08:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。