論文の概要: When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study

• arxiv url: http://arxiv.org/abs/2606.20881v1
• Date: Thu, 18 Jun 2026 19:15:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 12:17:54.957724
• Title: When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study
• Title（参考訳）: コード推論に内在的リワードはいつ働くか : 総合的研究
• Authors: Xiaolong Jin, Xuandong Zhao, Wenbo Guo, Xiangyu Zhang, Dawn Song,
• Abstract要約: 検証可能な報酬(RLVR)による強化学習は、大規模言語モデル推論において大きな進歩をもたらした。 最近の研究は、多数決や信頼に基づくスコアなど、モデル自身の信号から報酬を導き出すことによって、この問題に対処している。 本稿では,コード生成における本質的な報酬手法の体系的研究について述べる。
• 参考スコア（独自算出の注目度）: 77.64957118012423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has driven substantial progress in large language model reasoning, but relies on ground-truth supervision that is costly or infeasible, especially in coding tasks. Recent work addresses this by deriving rewards from a model's own signals, such as majority voting or confidence-based scores, achieving notable success on mathematical reasoning benchmarks. However, code generation poses distinct challenges: programs are structurally complex, semantically equivalent solutions may differ syntactically, and verification typically requires execution. Whether these intrinsic reward methods transfer effectively to code remains unexplored. In this work, we present a systematic empirical study of intrinsic reward methods for code generation. We conduct extensive experiments on LiveCodeBench, systematically evaluating representative certainty-based Reinforcement Learning from Internal Feedback (RLIF) approaches under different training scenarios and hyperparameter settings. Our experiments reveal that certainty-based methods yield early gains but inevitably collapse: models progressively shorten outputs and lose reasoning capability, with collapse speed sensitive to sample size and temperature. When used to initialize RLVR training, RLIF pre-training offers no significant improvement over training from scratch. We also provide actionable recommendations for using intrinsic rewards for training code reasoning models. Our study shows both the promise and limitations of intrinsic reward methods for code, informing future work on code models and agents.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、大規模言語モデルの推論において大きな進歩を導いてきたが、特にコーディングタスクにおいて、コストがかかる、あるいは実現不可能な根底からの監督に依存している。 最近の研究は、多数決や信頼に基づくスコアなどのモデル独自の信号から報酬を導き、数学的推論ベンチマークで顕著な成功を収めることによって、この問題に対処している。 プログラムは構造的に複雑であり、意味論的に等価なソリューションは構文的に異なる可能性があり、検証は通常実行を必要とする。 これらの本質的な報酬法がコードに効果的に転送されるかどうかは未定である。 本稿では,コード生成における本質的な報酬手法の体系的研究について述べる。 我々はLiveCodeBenchについて広範な実験を行い、様々なトレーニングシナリオとハイパーパラメータ設定の下で、RLIF(Reinforcement Learning from Internal Feedback)アプローチを系統的に評価する。 実験の結果, モデルが出力を徐々に短縮し, 推理能力を失い, 崩壊速度は試料サイズや温度に敏感であることがわかった。 RLVRトレーニングの初期化に使用する場合、RLIF事前トレーニングは、スクラッチからのトレーニングよりも大幅に改善されることはない。 また、コード推論モデルのトレーニングに本質的な報酬を使用するためのアクション可能なレコメンデーションも提供します。 我々の研究は、コードモデルとエージェントに関する将来的な研究を知らせる、コード固有の報酬メソッドの約束と制限の両方を示している。

関連論文リスト

• Chain of Uncertain Rewards with Large Language Models for Reinforcement Learning [52.48243762705385]
  Chain of Uncertain Rewards (CoUR)は、大きな言語モデル(LLM)を統合して報酬関数の設計と評価を効率化する新しいフレームワークである。 我々は、CoURがより良い性能を実現し、報酬評価のコストを大幅に削減できることを示します。
  論文  参考訳（メタデータ） (2026-04-15T05:44:14Z)
• How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
  検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。 最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。 我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2026-03-09T17:38:11Z)
• Reward Modeling for Reinforcement Learning-Based LLM Reasoning: Design, Challenges, and Evaluation [46.38008143057758]
  大きな言語モデル(LLM)は変革の可能性を示しているが、その推論は矛盾し、信頼できないままである。 この研究は、報酬モデリングは単なる実装の詳細ではなく、推論アライメントの中心的なアーキテクトであると主張している。 本枠組みでは,報奨機構の分類,報奨ハッキングを広範にわたる障害モードとして分析し,報奨が課題を統一する方法について検討する。
  論文  参考訳（メタデータ） (2026-02-10T00:45:24Z)
• Aletheia: What Makes RLVR For Code Verifiers Tick? [51.371034079170435]
  Reinforcement Learning from Verifiable Rewards (RLVR)を通じてトレーニングされた検証は、Large Language Model (LLM)ポストトレーニングパイプラインの顕著なフィクスチャである。 コード検証は、実行フィードバックを得るのが難しいシナリオにおいて、モデル出力を判断する上で価値があります。 本稿では,RLVRを用いた検証学習手法の構成要素を検証し,その有効性を検証した。
  論文  参考訳（メタデータ） (2026-01-17T22:30:45Z)
• ConfClip: Confidence-Weighted and Clipped Reward for Reinforcement Learning in LLMs [32.13266235550995]
  強化学習(RL)は、大規模言語モデル(LLM)の標準化の標準パラダイムとなっている。 人間の学習から得られた観察から着想を得て、検証可能な結果とモデル自身の信頼度推定を統合するRL手法を導入する。
  論文  参考訳（メタデータ） (2025-09-22T13:00:35Z)
• Learning to Reason without External Rewards [100.27210579418562]
  RLVR(Reinforcement Learning with Verifiable Rewards)による複雑な推論のための大規模言語モデル(LLM)の訓練は、費用がかかるドメイン固有の監督に依存して効果的であるが制限されている。 内部フィードバックからの強化学習(Reinforcement Learning from Internal Feedback, RLIF)は、LLMが外部の報酬やラベル付きデータなしで本質的な信号から学習できるフレームワークである。 本稿では,モデル自身の信頼度を利用したRLIF手法であるIntuitorについて,その唯一の報奨信号として自己確実性(self-certainty)を提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:01:06Z)
• Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
  単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。 本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-23T07:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。