Fugu-MT 論文翻訳(概要): From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

論文の概要: From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

arxiv url: http://arxiv.org/abs/2605.22074v1
Date: Thu, 21 May 2026 07:13:00 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-22 16:35:42.130444
Title: From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning
Title（参考訳）: 推論チェインから検証可能なサブプロブレム:LLM推論のクレジットアサインメントを可能にするカリキュラム強化学習
Authors: Xitai Jiang, Zihan Tang, Wenze Lin, Yang Yue, Shenzhi Wang, Gao Huang,
Abstract要約: Subproblem Curriculum Reinforcement Learning (SCRL)は、検証可能なサブプロブレムを導出し、最終サブプロブレムを元の問題として修正するカリキュラムRLフレームワークである。 SCRLはサブプロブレムレベルの正規化を使用し、各サブプロブレム位置で報酬を独立に正規化する。解析の結果,勾配のデッドゾーンからサブプロブレム・キュリキュラがハード問題を解き、元の問題は困難になるにつれて相対的な利得が大きくなることがわかった。
参考スコア（独自算出の注目度）: 23.97263494146948
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reinforcement learning from verifiable rewards (RLVR) has shown strong promise for LLM reasoning, but outcome-based RLVR remains inefficient on hard problems because correct final-answer rollouts are rare and sample-level credit assignment cannot use partial progress in failed attempts. We introduce SCRL (Subproblem Curriculum Reinforcement Learning), a curriculum RL framework that derives verifiable subproblems from reference reasoning chains and fixes the final subproblem as the original problem. This turns partial progress on hard problems into verifiable learning signals. Algorithmically, SCRL uses subproblem-level normalization, which normalizes rewards independently at each subproblem position and assigns the resulting advantages to the corresponding answer spans, enabling finer-grained credit assignment without external rubrics or reward models. Our analysis shows that subproblem curricula lift hard problems out of gradient dead zones, with larger relative gains as the original problem becomes harder. Across seven mathematical reasoning benchmarks, SCRL outperforms strong curriculum-learning baselines, improving average accuracy over GRPO by +4.1 points on Qwen3-4B-Base and +1.9 points on Qwen3-14B-Base. On AIME24, AIME25, and IMO-Bench, SCRL further improves pass@1 by +3.7 points and pass@64 by +4.6 points on Qwen3-4B-Base, indicating better exploration on hard reasoning problems.
Abstract（参考訳）: 検証可能な報酬(RLVR)からの強化学習は、LLM推論に強い期待を示しているが、結果に基づくRLVRは、正しい最終回答のロールアウトが稀であり、サンプルレベルのクレジット割り当てが失敗した試みで部分的な進歩を利用できないため、難しい問題に対して非効率である。 SCRL(Subproblem Curriculum Reinforcement Learning)は、参照推論チェーンから検証可能なサブプロブレムを導出し、最終サブプロブレムを元の問題として修正するカリキュラムRLフレームワークである。これにより、難しい問題の部分的な進歩が、検証可能な学習信号へと変換される。 SCRLはアルゴリズム的にサブプロブレムレベルの正規化を使用し、各サブプロブレム位置で報酬を独立に正規化し、その結果得られる利点を対応する応答スパンに割り当てる。解析の結果,勾配のデッドゾーンからサブプロブレム・キュリキュラがハード問題を解き、元の問題は困難になるにつれて相対的な利得が大きくなることがわかった。 7つの数学的推論ベンチマークで、SCRLは強力なカリキュラム学習ベースラインを上回り、Qwen3-4B-Baseでは+4.1ポイント、Qwen3-14B-Baseでは+1.9ポイント、GRPOよりも平均精度が向上した。 AIME24、AIME25、IMO-Benchでは、SCRLはQwen3-4B-Base上でpass@1を+3.7ポイント、pass@64を+4.6ポイント改善し、ハード推論問題に対するより良い探索を示している。

論文の概要: From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

関連論文リスト