論文の概要: Co-Evolving Policy and Reward for Code Generation: A Mechanistic Study of Single-Adapter Drift

• arxiv url: http://arxiv.org/abs/2610.26416v1
• Date: Mon, 19 Oct 2026 13:48:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 17:52:49.020017
• Title: Co-Evolving Policy and Reward for Code Generation: A Mechanistic Study of Single-Adapter Drift
• Title（参考訳）: コード生成のための共進化政策とリワード:単一適応ドリフトの力学的研究
• Abstract要約: ポリシ・リワード共進化アプローチがコード生成に効果的に移行するかどうかを検討する。 我々は,SPARK方式のロールアウトリサイクルを,実行のみのグループ相対ポリシー最適化と比較した。 共進化は訓練性能を向上させるが、これらの利得は保留問題に一般化しない。
• 参考スコア（独自算出の注目度）: 0.29465623430708904
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) is particularly well suited to code generation because generated programs can be objectively evaluated through execution. Execution also provides behavioral information that can be reused as additional supervision. The Synergistic Policy and Reward Co-Evolving Framework (SPARK), originally proposed for reasoning tasks, exploits this idea by recycling training rollouts and their evaluation results to train a model not only to generate solutions but also to evaluate and improve them. We investigate whether this policy-reward co-evolution approach transfers effectively to code generation and whether execution-grounded reflection provides an additional source of self-improvement. We compare SPARK-style rollout recycling with execution-only Group Relative Policy Optimization (GRPO) using Qwen2.5-Coder-3B-Instruct. Our results do not support either hypothesis under the configuration tested. Although co-evolution improves training performance, these gains do not generalize to held-out problems. Compared at the same stage of training, rollout recycling produces roughly 34x greater KL divergence from the reference policy than execution-only GRPO. Over training, trained tokens per GRPO sequence fall from 185 to 86 as training pass rate increases, while held-out performance declines or fails to sustain early gains. We characterize these patterns as single-adapter policy drift: the shared trainable parameters increasingly depart from pretrained code-generation behavior without corresponding gains in generalization. The results show that higher training reward alone is not evidence of generalizable code self-improvement and highlight the importance of held-out evaluation and drift diagnostics.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、実行によって生成されたプログラムを客観的に評価できるため、コード生成に特に適している。 実行はまた、追加の監視として再利用可能な行動情報も提供する。 Synergistic Policy and Reward Co-Evolving Framework (SPARK)は、もともと推論タスクのために提案されたもので、ロールアウトのトレーニングと評価結果をリサイクルして、ソリューションの生成だけでなく、それらの評価と改善のためのモデルトレーニングを行う。 我々は,このポリシ・リワード・共進化アプローチがコード生成に効果的に移行するかどうか,実行・グラウンド・リフレクションが自己改善の新たな源となるかどうかを検討する。 Qwen2.5-Coder-3B-Instruct を用いて,SPARK方式のロールアウトリサイクルと実行のみのグループ相対ポリシー最適化(GRPO)を比較した。 テストした設定の下では、どちらの仮説もサポートしていません。 共進化は訓練性能を向上させるが、これらの利得は保留問題に一般化しない。 同時に, ロールアウトリサイクルにより, 基準方針から約34倍のKLの偏差が生じる。 トレーニングの結果として、GRPOシーケンス毎のトレーニングトークンは185から86に減少する。 共有トレーニング可能なパラメータは、一般化において対応する利得を伴わずに、事前訓練されたコード生成行動から離れる傾向にある。 その結果、より高いトレーニング報酬は、一般化可能なコード自己改善の証拠ではないことが示され、ホールドアウト評価とドリフト診断の重要性が強調された。

関連論文リスト

• Revisiting On-policy Adversarial Black-Box Distillation: Calibrating Groupwise Reward Geometry for Effective Advantage Construction [78.96080253280225]
  ブラックボックス蒸留は、APIアクセス可能な大規模言語モデルから機能を移行するための実用的な方法である。 GADのような近年の政敵法は、批判者と学生の間の対立ループを形成している。 本稿では,学生側報酬グループを形作ることによって利点を享受する2段階構成フレームワークGRGCを提案する。
  論文  参考訳（メタデータ） (2026-09-30T13:53:57Z)
• When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study [77.64957118012423]
  検証可能な報酬(RLVR)による強化学習は、大規模言語モデル推論において大きな進歩をもたらした。 最近の研究は、多数決や信頼に基づくスコアなど、モデル自身の信号から報酬を導き出すことによって、この問題に対処している。 本稿では,コード生成における本質的な報酬手法の体系的研究について述べる。
  論文  参考訳（メタデータ） (2026-06-18T19:15:50Z)
• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards [73.44333771806282]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,大規模言語モデルの推論能力向上に有効なパラダイムとして登場した。 本稿では,RLVRの簡易かつ効果的な拡張であるCIPO(Correction-Oriented Policy Optimization)を提案する。 CIPOは学習効率を向上し、モデルが自身のエラーを修正する能力を明示的に強化する。
  論文  参考訳（メタデータ） (2026-05-14T08:22:21Z)
• RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization [65.23034604711489]
  大規模な推論モデルをトレーニングするための自己改善フレームワークであるRLoopを紹介します。 RLoopはまず、RLを使用して所定のポリシからソリューション空間を探索し、成功したトラジェクトリをフィルタリングしてエキスパートデータセットを作成する。 実験の結果、RLoopsは一般化を忘れて大幅に改善し、平均精度は9%、pass@32はバニラRLに比べて15%以上向上した。
  論文  参考訳（メタデータ） (2025-11-06T11:27:16Z)
• Can GRPO Help LLMs Transcend Their Pretraining Origin? [42.200901132315636]
  グループ相対政策最適化は、大規模言語モデル(LLM)の推論能力を高めるための主要なアプローチである 広く採用されているにもかかわらず、GRPOの利益はしばしば矛盾している。 GRPOはどの条件で推論を改善し、アウト・オブ・ディストリビューション(OOD)を一般化するのか? まず、GRPOは基本モデルの分布に縛られ、完全に新しい解を見つけることができない保守的な再重み付けスキームであることを理論的に証明する。
  論文  参考訳（メタデータ） (2025-10-14T00:37:52Z)
• Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
  単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。 本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-23T07:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。