論文の概要: CAPO: Towards Enhancing LLM Reasoning through Verifiable Generative Credit Assignment

• arxiv url: http://arxiv.org/abs/2508.02298v1
• Date: Mon, 04 Aug 2025 11:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.306419
• Title: CAPO: Towards Enhancing LLM Reasoning through Verifiable Generative Credit Assignment
• Title（参考訳）: CAPO: 検証可能な生成クレジットアサインメントによるLCM推論の強化を目指して
• Authors: Guofu Xie, Yunsheng Shi, Hongtao Tian, Ting Yao, Xiao Zhang,
• Abstract要約: RLVR(Reinforcement Learning with Verifiable Rewards)は、ルールベースのバイナリフィードバックを使用することで、LLM(Large Language Models)の推論能力を改善した。 現在のRLVRメソッドは、すべてのレスポンスを単一のアクションとして扱い、トークンに同じ報酬を割り当てる。 この粗い粒度のフィードバックは、正確なクレジット割り当てを妨げ、モデルがどの推論ステップが成功または失敗につながるかを特定するのが難しくなる。
• 参考スコア（独自算出の注目度）: 39.965170904699974
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning with Verifiable Rewards (RLVR) has improved the reasoning abilities of Large Language Models (LLMs) by using rule-based binary feedback, helping to mitigate reward hacking. However, current RLVR methods typically treat whole responses as single actions, assigning the same reward to every token. This coarse-grained feedback hampers precise credit assignment, making it hard for models to identify which reasoning steps lead to success or failure, and often results in suboptimal policies and inefficient learning. Methods like PPO provide credit assignment through value estimation, but often yield inaccurate and unverifiable signals due to limited sampling. On the other hand, methods using Process Reward Models can provide step-by-step judgments for each reasoning step, but they require high-quality process supervision labels and are time-consuming when applied in online reinforcement learning (RL). To overcome these limitations, we introduce a simple but efficient method Credit Assignment Policy Optimization (CAPO). Given a reasoning response rollout from the policy model, CAPO directly leverages an off-the-shelf, general-purpose LLM as a Generative Process Reward Model (LLM-as-GenPRM) to generate all step-wise critique by one pass, thereby providing verifiable token-level rewards to refine the tokens that were originally assigned identical rule-based rewards. This enables more fine-grained credit assignment in an effective way. Furthermore, to enhance the accuracy and robustness of CAPO, we employ voting mechanisms that scale with the number of generated critiques. Extensive experiments using different backbones like Llama and Qwen models and in different sizes show that CAPO consistently outperforms supervised learning-based and RL-based fine-tuning methods across six challenging mathematical benchmarks and three out-of-domain benchmarks.
• Abstract（参考訳）: RLVR(Reinforcement Learning with Verifiable Rewards)は、ルールベースのバイナリフィードバックを使用することで、大規模な言語モデル(LLM)の推論能力を改善し、報酬のハッキングを軽減する。 しかしながら、現在のRLVRメソッドは通常、すべてのレスポンスを単一のアクションとして扱い、すべてのトークンに同じ報酬を割り当てる。 この粗い粒度のフィードバックは、正確なクレジット割り当てを妨げ、モデルがどの推論ステップが成功または失敗につながるかを特定するのを難しくし、しばしば過度な政策と非効率な学習をもたらす。 PPOのような手法は、価値推定を通じてクレジット割当を提供するが、サンプリングの制限により、しばしば不正確で検証不可能な信号が得られる。 一方、プロセス・リワード・モデルを用いた手法では、各推論ステップに対してステップ・バイ・ステップの判断が可能であるが、高品質なプロセス監視ラベルが必要であり、オンライン強化学習(RL)に適用した場合に時間がかかる。 これらの制限を克服するために、簡単なが効率的なクレディ・アサインメント・ポリシー・最適化(CAPO)を導入する。 ポリシーモデルからの推論応答のロールアウトを前提として、CAPOはジェネレーティブ・プロセス・リワード・モデル(LLM-as-GenPRM)として、市販の汎用LLMを直接利用して、すべてのステップワイズ・批評を1パスずつ生成することで、本来同じルールベースの報酬が割り当てられたトークンを洗練するための検証可能なトークンレベルの報酬を提供する。 これにより、よりきめ細かいクレジットを効果的に割り当てることができる。 さらに,CAPOの精度とロバスト性を高めるために,生成した批判数に応じてスケールする投票機構を採用する。 LlamaやQwenなど,さまざまなバックボーンを使用した大規模な実験は,CAPOが教師付き学習ベースおよびRLベースの微調整メソッドを,6つの挑戦的な数学ベンチマークと3つの非ドメインベンチマークで一貫して上回っていることを示している。

関連論文リスト

• Revisiting LLM Reasoning via Information Bottleneck [57.519119962528166]
  大規模言語モデル(LLM)は、最近、検証可能な報酬付き強化学習(RLVR)を通じて推論能力の顕著な進歩を示した。 本稿では,情報ボトルネック(IB)の原理に基づくLLM推論の理論的特徴について述べる。 IB対応推論最適化(IBRO)を提案する。
  論文  参考訳（メタデータ） (2025-07-24T13:14:25Z)
• RLPR: Extrapolating RLVR to General Domains without Verifiers [103.14103272635893]
  本稿では,RLVRを汎用ドメインに外挿するシンプルな検証不要なフレームワークであるRLPRを提案する。 このノイズの多い確率報酬の高分散に対処することが、それを機能させるためには不可欠である。 RLPRはGemma、Llama、Qwenベースのモデルの両方の領域における推論機能の改善を一貫して行っている。
  論文  参考訳（メタデータ） (2025-06-23T02:56:36Z)
• RuleReasoner: Reinforced Rule-based Reasoning via Domain-aware Dynamic Sampling [25.12721060984898]
  ルールに基づく推論は、推論における根本的な問題の1つとして認識されている。 本稿ではルールベースの推論を行うシンプルな方法であるReinforced Rule-based Reasoning、すなわち RuleReasonerを紹介する。 具体的には、過去の報酬に基づいて異なるドメインのサンプリング重みを更新することで、Re RuleReasonerは各トレーニングバッチを再サンプリングする。
  論文  参考訳（メタデータ） (2025-06-10T10:31:21Z)
• Response-Level Rewards Are All You Need for Online Reinforcement Learning in LLMs: A Mathematical Perspective [6.069069082518759]
  大規模言語モデル(LLM)の強化学習におけるゼロ・リワード推定について検討する。 反応レベル報酬モデルのみを用いて、真で未知のトークンレベルの報酬に基づくポリシー勾配を不偏に推定できることを示す。 我々は,新しいアルゴリズム,Token-Reinforced Policy Optimization (TRePO)を提案する。
  論文  参考訳（メタデータ） (2025-06-03T07:44:31Z)
• Writing-Zero: Bridge the Gap Between Non-verifiable Tasks and Verifiable Rewards [11.149294285483782]
  我々は、検証不可能なタスクと検証可能な報酬のギャップを埋める統一的なRLVRベースのトレーニングパラダイムを提案する。 本稿では,GenRMとBootstrapped Relative Policy Optimization (BRPO)アルゴリズムを提案する。 提案手法は,LLMが微調整を監督せずに堅牢な書込み機能を開発する上で有効である。
  論文  参考訳（メタデータ） (2025-05-30T14:34:57Z)
• Discriminative Policy Optimization for Token-Level Reward Models [55.98642069903191]
  プロセス報酬モデル(PRM)は、結果報酬モデル(ORM)と比較して、よりきめ細かい監督を提供する。 Q-RMは、微粒なアノテーションに頼ることなく、優先データからトークンレベルのQ関数を明示的に学習する。 Q-RMによる強化学習は、トレーニング効率を大幅に向上させ、GSM8KでのORMの12倍、MATHでのステップレベルPRMの11倍の収束を実現した。
  論文  参考訳（メタデータ） (2025-05-29T11:40:34Z)
• Scalable Best-of-N Selection for Large Language Models via Self-Certainty [65.31658824274894]
  Best-of-N選択は、大規模言語モデルの推論性能を改善するための重要なテクニックである。 本稿では,外部報酬モデルを必要とすることなく,応答品質を推定する新規かつ効率的な指標である自己確実性を提案する。 本研究は, LLM推論能力を向上させるための実用的で効率的な方法として, 自己確実性を確立した。
  論文  参考訳（メタデータ） (2025-02-25T19:08:07Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Assessing the Zero-Shot Capabilities of LLMs for Action Evaluation in RL [14.091146805312636]
  信用割当問題は強化学習(RL)における中心的な課題である クレジット・アサインメント・ウィズ・ランゲージ・モデル(CALM)は、報酬形成とオプション発見を通じてクレジット・アサインメントを自動化する新しいアプローチである。 予備的な結果は、大規模言語モデルの知識が、RLにおける信用代入の有望な先行であることを示している。
  論文  参考訳（メタデータ） (2024-09-19T14:08:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。