論文の概要: Exploring Pass-Rate Reward in Reinforcement Learning for Code Generation

• arxiv url: http://arxiv.org/abs/2605.02944v1
• Date: Fri, 01 May 2026 10:26:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.52527
• Title: Exploring Pass-Rate Reward in Reinforcement Learning for Code Generation
• Title（参考訳）: コード生成のための強化学習におけるパスレート・リワードの探索
• Authors: Xin-Ye Li, Ren-Biao Liu, Yun-Ji Zhang, Hui Sun, Zheng Xie, Ming Li,
• Abstract要約: コード生成のための批判のないRLにおけるパスレート報酬について検討する。 パスレートの報酬はより密度が高いが、誘導された勾配の更新は確率質量をフルパスの解へ常に移動させるわけではない。
• 参考スコア（独自算出の注目度）: 13.633897375946129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) from unit-test feedback has become a standard post-training recipe for improving large language models (LLMs) on code generation. However, the pass-all-tests binary reward can be sparse, yielding no learning signal on challenging problems where none of the sampled solutions passes all tests. A common remedy is to use the test-case pass rate as a surrogate reward. In this work, we study pass-rate rewards in critic-free RL for code generation (e.g., GRPO and RLOO) and report a consistent pattern across base models and algorithms: despite alleviating reward sparsity, pass-rate rewards do not reliably improve final performance over binary rewards in rigorous controlled experiments. To understand this discrepancy, we analyze reward density and the resulting gradient directions. We find that pass-rate rewards are denser, but the induced gradient updates do not consistently move probability mass toward full-pass solutions. This arises because test-case pass rate is a miscalibrated surrogate for progress toward full correctness, and partial-pass solutions within the same group can induce conflicting gradient directions that cancel out. Overall, our results suggest that, in critic-free RL, pass-rate rewards are insufficient to improve code generation and motivate reward designs that better align optimization with the goal of full correctness.
• Abstract（参考訳）: 単体テストフィードバックからの強化学習(RL)は、コード生成における大規模言語モデル(LLM)を改善するための訓練後の標準的なレシピとなっている。 しかし、パス・オール・テストのバイナリ報酬はスパースであり、サンプリングされたソリューションがすべてテストに合格しない問題に関する学習信号は得られない。 一般的な治療法は、テストケースのパスレートを代理報酬として使うことである。 本研究では,コード生成における批判のないRL(例えばGRPO,RLOO)におけるパスレート報酬について検討し,報酬の分散を緩和するにもかかわらず,厳密な制御実験において2値報酬よりも最終性能を確実に向上させることができないという,基本モデルとアルゴリズム間の一貫したパターンを報告する。 この違いを理解するために、報酬密度と結果の勾配方向を解析する。 パスレートの報酬はより密度が高いが、誘導された勾配の更新は確率質量をフルパスの解へ常に移動させるわけではない。 これは、テストケースの通過速度が完全正当性への進行に対する誤った仮定であり、同じグループ内の部分パス解は、キャンセルされる矛盾する勾配方向を誘導できるためである。 全体としては、批判のないRLでは、パスレートの報酬はコード生成を改善し、最適化と完全な正しさの目標との整合性を向上する報酬設計を動機付けるには不十分であることが示唆されている。

関連論文リスト

• Learn Hard Problems During RL with Reference Guided Fine-tuning [56.56461712665904]
  数学的推論のための強化学習(RL)は報酬の分散に悩むことがある。 本稿では,Reference-Guided Fine-Tuning (ReGFT)を導入し,ハード問題に対する正の軌道を合成し,RLの前にトレーニングする。 以上の結果から,ReGFTは報酬空間を効果的に克服し,より強力なRLに基づく数学的推論を解き放つことが示唆された。
  論文  参考訳（メタデータ） (2026-03-01T18:41:28Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• From Verifiable Dot to Reward Chain: Harnessing Verifiable Reference-based Rewards for Reinforcement Learning of Open-ended Generation [52.62655622099456]
  検証基準ベース報酬(RLVRR)を用いた強化学習を提案する。 最後の答えをチェックする代わりに、RLVRRは高品質な参照(すなわち報酬連鎖)から順序付けられた言語信号を抽出する。 このようにして、RLVRRは報酬を2つの次元に分解する。
  論文  参考訳（メタデータ） (2026-01-26T14:39:58Z)
• GDRO: Group-level Reward Post-training Suitable for Diffusion Models [55.948229011478304]
  グループレベルの報酬は、モデルを目標とする報酬と整合させるのに成功します。 Group-level Direct Reward Optimization (GDRO)は、グループレベルの報酬アライメントのための新しいトレーニング後のパラダイムである。 GDROは完全なオフライントレーニングをサポートし、画像ロールアウトサンプリングの大幅なコスト削減を実現する。 これは拡散サンプラー非依存であり、取得性に対するODE-to-SDE近似の必要性を排除している。
  論文  参考訳（メタデータ） (2026-01-05T11:47:18Z)
• What Can You Do When You Have Zero Rewards During RL? [3.0795668932789515]
  結果に基づく報酬を伴う強化学習(RL)は、複雑な推論タスクにおいて大きな言語モデル(LLM)を改善するのに有効であることが証明されている。 本稿では,Bachmann et al. (2024) で導入されたグラフ検索タスクを通じて,このシナリオを検証し,望ましいコンポーネントを組み込んだ最近の手法を評価する。 トレーニングセットに簡単なサンプルを追加するという単純なデータ中心の介入によって、報酬のゼロから始まるにもかかわらず、モデルが最終的に元のハードタスクを解決できることが分かりました。
  論文  参考訳（メタデータ） (2025-10-04T23:10:38Z)
• ReDit: Reward Dithering for Improved LLM Policy Optimization [14.234865577185156]
  DeepSeek-R1は、ルールベースの報酬システムを通じて、LLM(Large Language Model)推論機能の拡張に成功した。 報酬のハッキングを効果的に軽減する「完璧な」報酬システムであるが、そのような報酬機能はしばしば離散的である。 本稿では、単純なランダムノイズを加えることで離散的な報酬信号をディザリングするReDit(Reward Dithering)を提案する。
  論文  参考訳（メタデータ） (2025-06-23T13:36:24Z)
• Intra-Trajectory Consistency for Reward Modeling [67.84522106537274]
  軌道内整合性正則化を開発し、より高い次トーケン生成確率を持つプロセスがより一貫した報酬を維持することを強制する。 提案した正規化でトレーニングした報酬モデルにより、より優れたDPO整合ポリシーが導出され、より優れたベスト・オブ・N(BON)検証結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T12:59:14Z)
• The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning [37.13807960501503]
  検証可能な報酬を伴う強化学習(RLVR)は、言語モデル(LM)のトレーニングに有望なアプローチである 我々は学習信号を正しい応答の強化と正負の正負の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の正の 我々は、NSRが不正確な世代を抑え、確率質量を他の可算候補に向けて再分配することで、モデルの以前の信念に導かれることを示す。
  論文  参考訳（メタデータ） (2025-06-02T06:10:54Z)
• Mind the Gap: Offline Policy Optimization for Imperfect Rewards [14.874900923808408]
  多様な不完全な報酬を処理できる統合オフラインポリシー最適化手法である textitRGM (Reward Gap Minimization) を提案する。 下位層の双対性を生かして,オンラインインタラクションを伴わずにサンプルベースの学習を可能にする,抽出可能なアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-02-03T11:39:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。