論文の概要: DiDPO: Diff-in-Diff Policy Optimization for Coding Agent Training
- arxiv url: http://arxiv.org/abs/2608.07147v1
- Date: Fri, 07 Aug 2026 12:07:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.491231
- Title: DiDPO: Diff-in-Diff Policy Optimization for Coding Agent Training
- Title（参考訳）: DiDPO:Diff-in-Diff Policy Optimization for Coding Agent Training
- Abstract要約: Verifiable Reward (RLVR)による強化学習は、コーディングエージェントを訓練するための強力なパラダイムとして登場した。
Diff-in-Diff Policy Optimization (DiDPO) は、コード差分構造から直接きめ細かなクレジット単位を構築する、批判のないRL法である。
- 参考スコア（独自算出の注目度）: 20.288739033885705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning with Verifiable Reward (RLVR) has emerged as a powerful paradigm for training coding agents, where the execution feedback from compilation and tests provides objective verification. However, unlike agent tasks, coding agents face a unique and finer-grained credit assignment challenge: at each step, coding actions simultaneously pack varying changes into different regions of a code version, which makes the contribution of independent change indistinguishable. Existing RLVR methods mostly leverage the outcome reward or step-level reward, which fails to dive into a code diff and makes unique properties of coding actions invisible to training. In this paper, we propose Diff-in-Diff Policy Optimization (DiDPO), a critic-free RL method that constructs fine-grained credit units directly from the structure of code diffs. DiDPO organizes multi-turn coding interactions into multiple thought--action steps and discovers code diffs across sampled trajectories. It then selects anchors by aggregating highly similar sub-diffs split from each whole diff by our ``groupability score'', which provides the splitting schema that optimally balances the semantic scope of anchors and the group mass they may form. Finally these anchors form advantage groups and project the diff-level advantage back to individual response tokens. Experiments on long-horizon coding and reasoning benchmarks show that DiDPO significantly outperforms strong agentic RL baselines. On Qwen2.5-7B-Coder, DiDPO exceeds comparable methods by over 10\% and narrows the gap with far larger models, offering a principled framework for fine-grained credit assignment in coding agent training. We also open-source verl-code, an agentic rl codebase that supports various RL methods and coding benchmarks.
- Abstract（参考訳）: Verifiable Reward (RLVR)による強化学習は、コンパイルとテストの実行フィードバックが客観的な検証を提供するコーディングエージェントのトレーニングの強力なパラダイムとして登場した。
しかし、エージェントのタスクとは異なり、コーディングエージェントはユニークなきめ細かいクレジット割り当ての課題に直面している。各ステップで、コーディングアクションは同時にコードバージョンの異なる領域にさまざまな変更を詰め込むため、独立した変更の貢献は区別できない。
既存のRLVRメソッドは、主に結果報酬やステップレベルの報酬を利用しており、コード差分に飛び入らず、トレーニングに見えないコーディングアクションのユニークな特性を提供します。
本稿では,コード差分構造から直接きめ細かなクレジット単位を構成する,批判のないRL手法であるDiff-in-Diff Policy Optimization (DiDPO)を提案する。
DiDPOはマルチターンコーディングインタラクションを複数の思考行動ステップに整理し、サンプル軌跡間のコード差を検出する。
次に、"groupability score'' によって各diffから分離された非常に類似したサブ差分を集約することで、アンカーを選択します。
最後に、これらのアンカーはアドバンテージグループを形成し、個々のレスポンストークンへの差分レベルのアドバンテージを投影する。
長距離符号化および推論ベンチマークの実験により、DiDPOは強力なエージェントRLベースラインを著しく上回ることを示した。
Qwen2.5-7B-Coderでは、DiDPOは、同等のメソッドを10倍以上上回り、はるかに大きなモデルとのギャップを狭め、コーディングエージェントのトレーニングにおいて、きめ細かいクレジット割り当てのための原則化されたフレームワークを提供する。
また、さまざまなRLメソッドとコーディングベンチマークをサポートするエージェント型rlコードベースであるverl-codeをオープンソースとして公開しています。
関連論文リスト
- CoRe-Code: Collaborative Reinforcement Learning for Code Generation [13.697928927084037]
大規模言語モデル(LLM)はコード生成において高いパフォーマンスを達成しているが、ほとんどのメソッドはグローバル計画なしで自動回帰デコーディングに依存している。
エージェント間協調を強化し,より正確かつ効率的なコードを生成する,特殊なLLMエージェントのためのフレームワークである協調強化コード(CoRe-Code)を提案する。
論文 参考訳（メタデータ） (2026-05-24T01:47:30Z) - Context Pruning for Coding Agents via Multi-Rubric Latent Reasoning [14.508049757681862]
LLMベースのコーディングエージェントは、トークンの予算の大部分をリポジトリファイルを読むのに費やしている。
この定式化がモデリングのボトルネックを生み出すことを示す。
コード関連性を2つの解釈可能な品質次元に分解する構造化プルーニングフレームワークであるLaMRを提案する。
論文 参考訳（メタデータ） (2026-05-14T18:30:10Z) - AlignCoder: Aligning Retrieval with Target Intent for Repository-Level Code Completion [55.21541958868449]
リポジトリレベルのコード補完フレームワークであるAlignCoderを提案する。
我々のフレームワークは、初期クエリとターゲットコードのセマンティックギャップを橋渡しする拡張クエリを生成する。
我々は、拡張クエリにおける推論情報を活用してより正確な検索を行うAlignRetrieverのトレーニングに強化学習を採用する。
論文 参考訳（メタデータ） (2026-01-27T15:23:14Z) - CodeRL+: Improving Code Generation via Reinforcement with Execution Semantics Alignment [98.87395842351627]
大きな言語モデル(LLM)は、巨大なコードコーパスから学習することで、コード生成において優れています。
テキストパターンのトレーニングと機能的正しさの目標の間には、基本的な意味的ギャップが残っている。
我々は、コード生成のためのRLVRトレーニングパイプラインに実行セマンティクスアライメントを統合する新しいアプローチであるCodeRL+を提案する。
論文 参考訳（メタデータ） (2025-10-21T09:48:06Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - Alignment with Fill-In-the-Middle for Enhancing Code Generation [56.791415642365415]
コードスニペットを小さな粒度のブロックに分割し,同じテストケースからより多様なDPOペアを生成する手法を提案する。
提案手法は,HumanEval (+), MBPP (+), APPS, LiveCodeBench, BigCodeBenchといったベンチマークデータセットの実験によって検証された,コード生成タスクの大幅な改善を示す。
論文 参考訳（メタデータ） (2025-08-27T03:15:53Z) - DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。
本研究は,それらの認知過程と強化学習手法について考察する。
我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
論文 参考訳（メタデータ） (2025-06-25T17:35:47Z) - Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。
制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。
本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
論文 参考訳（メタデータ） (2025-03-27T17:34:25Z) - Process Supervision-Guided Policy Optimization for Code Generation [15.943210767010045]
単体テストフィードバックによる強化学習(RL)は、大規模言語モデルのLLM(LLM)コード生成を強化したが、完全なコード評価後にのみ提供されるスパース報酬に依存している。
本稿では,人間のコード修正を模倣したプロセス・リワード・モデル(PRM)を提案する。
論文 参考訳（メタデータ） (2024-10-23T07:22:33Z) - Advanced Detection of Source Code Clones via an Ensemble of Unsupervised Similarity Measures [0.0]
本研究では,コード類似度評価のための新しいアンサンブル学習手法を提案する。
鍵となる考え方は、様々な類似度尺度の強みが互いに補完し、個々の弱点を軽減することである。
論文 参考訳（メタデータ） (2024-05-03T13:42:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。