論文の概要: Curriculum Reinforcement Learning Can Incentivize Reasoning Capacity in LLMs Beyond the Base Model

• arxiv url: http://arxiv.org/abs/2606.22317v1
• Date: Sun, 21 Jun 2026 03:15:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 19:07:58.753046
• Title: Curriculum Reinforcement Learning Can Incentivize Reasoning Capacity in LLMs Beyond the Base Model
• Title（参考訳）: カリキュラム強化学習は、ベースモデルを超えたLLMにおける推論能力にインセンティブを与える
• Authors: Pengxiang Cai, Tianchen Fang, Xiaohan Li, Qingyuan Zeng, Guocong Li, Jintai Chen,
• Abstract要約: 本稿では,基本モデルの推論能力境界を超える境界対応のカリキュラムRL手法を提案する。 Qwen、Llama、DeepSeekのベースモデル全体で、境界対応のCurriculum RLはpass@1スコアとpass@256スコアの両方を改善している。
• 参考スコア（独自算出の注目度）: 14.207229228233958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is widely viewed as a promising path toward continuously improving large language models. Recent works, however, suggest that mainstream RLVR often reallocates sampling probabilities among trajectories already present in the base model: it can improve sampling efficiency, reflected by higher pass@1 scores, but yields limited gains, and can even decrease pass@k scores when k is large, and therefore may fail to expand the base model's reasoning capacity boundary. In this paper, we present a boundary-aware Curriculum RL approach to move beyond the base model's reasoning capacity boundary. Our approach first uses pass@k sampling to locate the current reasoning capacity boundary, then applies targeted teacher guidance to examples near or beyond that boundary, and finally uses RL to consolidate the newly introduced reasoning patterns. Across Qwen, Llama, and DeepSeek base models, boundary-aware Curriculum RL improves both pass@1 scores and pass@256 scores, with pass@1 reflecting one-attempt performance and pass@256 serving as an empirical proxy for the reasoning capacity boundary. In our experiments, average pass@256 improves by 9.8 percentage points over the base models and by 10.3 percentage points over Vanilla RLVR. These results suggest that boundary-aware Curriculum RL can provide a scalable route for LLMs to continuously improve beyond the base model's empirical reasoning capacity boundary.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの改善を継続的に進めるための有望な方法として広く見なされている。 しかし最近の研究は、RLVRがベースモデルに存在する軌道のうちサンプリング確率をしばしば再配置していることを示唆している: サンプリング効率を向上し、より高いpass@1スコアで反映されるが、利得は制限され、kが大きければpass@kスコアも減少し、したがってベースモデルの推論能力境界の拡張に失敗する可能性がある。 本稿では,基本モデルの推論能力境界を超える境界対応のカリキュラムRL手法を提案する。 提案手法ではまず pass@k サンプリングを現在の推論能力境界の特定に使用し,その境界付近あるいはその向こうの事例にターゲットとなる教師指導を適用し,最後に新たに導入された推論パターンの統合に RL を用いる。 Qwen、Llama、DeepSeekのベースモデル全体で、境界対応のCurriculum RLでは、pass@1スコアとpass@256スコアの両方が改善されている。 我々の実験では、平均パス@256はベースモデルよりも9.8ポイント、バニラRLVRより10.3ポイント改善されている。 これらの結果から, 境界対応のカリキュラムRLは, 基礎モデルの実証的推論能力境界を超えて, LLMを継続的に改善するためのスケーラブルな経路を提供する可能性が示唆された。

関連論文リスト

• SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
  強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。 逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。 この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T13:49:47Z)
• ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models [89.37819814048288]
  本稿では,KL分散制御,参照ポリシ,多様なタスクスイートを取り入れた新しいトレーニング手法であるProRLを紹介する。 我々の経験的分析により、RL学習モデルは、広範囲のpass@k評価において、ベースリセットモデルよりも一貫して優れていたことが明らかとなった。 これらの知見は、RLが言語モデルにおける推論境界を有意に拡張する条件について、新たな洞察を与える。
  論文  参考訳（メタデータ） (2025-05-30T17:59:01Z)
• Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? [66.61292196146016]
  RLVR(Reinforcement Learning with Verifiable Rewards)は近年,大規模言語モデル(LLM)の推論性能の向上に成功している。 本研究はRLVRの現状を批判的に考察する。 現在のトレーニング設定では、根本的な新しい推論パターンが生まれていないことが分かりました。
  論文  参考訳（メタデータ） (2025-04-18T17:59:56Z)
• Open-Reasoner-Zero: An Open Source Approach to Scaling Up Reinforcement Learning on the Base Model [47.108822717757945]
  ベースモデルを用いた大規模推論指向RLトレーニングのオープンソース実装として,Open-Reasoner-Zeroを紹介した。 ベンチマーク性能と応答長の両方をスケールアップするのには,GAE とルールベース報酬の単純さが,KL 正規化なしで十分であることを示す。
  論文  参考訳（メタデータ） (2025-03-31T16:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。