論文の概要: TaPR: Test-Aware Policy Refinement for Feedback-Conditioned Code Generation
- arxiv url: http://arxiv.org/abs/2608.00494v1
- Date: Sat, 01 Aug 2026 07:35:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.726397
- Title: TaPR: Test-Aware Policy Refinement for Feedback-Conditioned Code Generation
- Title（参考訳）: TaPR: フィードバック要求コード生成のためのテストアウェアポリシのリファインメント
- Abstract要約: Test-Aware Policy Refinement (TaPR)は、実行フィードバックを高密度なターン毎のテストパス比報酬に変換するフレームワークである。
LiveCodeBenchの219のコード生成問題に関する6つのモデルにおいて、TaPRはプールされた3ターン成功率(Pass@3)を2.44ポイント改善した。
- 参考スコア（独自算出の注目度）: 6.268849049716121
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multi-turn code agents rely on execution feedback to repair incorrect programs, yet standard reinforcement learning paradigms optimize and evaluate policy performance primarily using single-shot outcome rewards. This misalignment conflates initial code generation with feedback-driven refinement, discards granular execution signals across intermediate turns, and fails to evaluate whether the policy actually acquires self-repair capabilities. We propose Test-aware Policy Refinement (TaPR), a framework that transforms execution feedback into a dense per-turn test-pass-ratio reward under a consistent multi-turn interaction protocol. Across six models on 219 code-generation problems from LiveCodeBench, TaPR improves the pooled three-turn success rate (Pass@3) by 2.44 percentage points. In the predefined 7B/8B high-headroom slice, pooled accuracy increases from 30.25% to 33.56% (+3.31 pp), with 42 improvements and 13 regressions in paired trials. On a matched Qwen3-8B ablation, the dense reward supplies nonzero feedback in all of the first ten steps and reaches a higher Hard-subset peak than outcome-only GRPO within the tested budget, although GRPO nearly matches pooled Pass@3 by step 300. Our primary contribution is a reward-decomposition framework and a turn-aware evaluation protocol that decouple first-shot generation quality from multi-turn repair competence.
- Abstract（参考訳）: マルチターンコードエージェントは、不正なプログラムを修復するために実行フィードバックに頼るが、標準的な強化学習パラダイムは、主に単発結果の報酬を使用して、ポリシーのパフォーマンスを最適化し評価する。
このミスアライメントは、フィードバック駆動の洗練と初期コード生成を融合させ、中間ターンにまたがって粒度の細かい実行信号を破棄し、ポリシーが実際に自己修復機能を取得するかどうかを評価できない。
本研究では,一貫したマルチターンインタラクションプロトコルの下で,実行フィードバックを高密度なターン毎のテストパス比の報酬に変換するフレームワークであるテスト認識ポリシーリファインメント(TaPR)を提案する。
LiveCodeBenchの219のコード生成問題に関する6つのモデルにおいて、TaPRはプールされた3ターン成功率(Pass@3)を2.44ポイント改善した。
事前定義された7B/8Bハイヘッドルームスライスでは、プールされた精度が30.25%から33.56%(+3.31pp)に上昇し、42の改善と13の回帰がペアトライアルで行われた。
一致したQwen3-8Bアブレーションでは、高密度報酬は最初の10ステップすべてでゼロでないフィードバックを与え、テストされた予算の中で結果のみのGRPOよりも高いハードサブセットピークに達する。
我々の主な貢献は、マルチターン修理能力からファーストショット生成品質を分離する報奨分解フレームワークとターンアウェア評価プロトコルである。
関連論文リスト
- Security Tests as Executable Specifications for LLM Code Generation: Benefits, Trade-offs, and Coverage Limits [14.44743150931186]
テストが事前に表示されるか、失敗した実行がリビジョンを引き起こすか、失敗が選択され、どのように表現されるかの3つの要素を分離する、制御されたテストフィードバックの足場を開発する。
2,705の軌道、31のタスクインスタンス、3つのセキュアコードベンチマーク、16のCWEカテゴリ、2つのモデルファミリがあり、すべての目に見えるテストが前もって隠れた機能とセキュリティのジョイントの成功を平均19.3%増加させている。
共有候補比較では、構造化されたフィードバック修復は、当初、共同回帰のない80の候補が失敗し、固定された生フィードバック修復83は3つの回帰を引き起こす。
論文 参考訳（メタデータ） (2026-08-10T15:37:09Z) - Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0 [53.71882250666667]
エージェント最適化法で報告されているほとんどの利得はワンショットである。
これは、デプロイされたエージェントにとって重要な設定をテストするものではない。
エージェントハーネス最適化に対する3つのアプローチを比較する。
論文 参考訳（メタデータ） (2026-07-15T16:36:04Z) - SCOPE: Leveraging Subgoal Critiques for Code Generation [14.869703886733761]
本稿では,コード生成のプロファイラdサブゴール批判であるSCOPEを紹介する。
SCOPEはリーン指向の証明モデルを採用し、下流のコード生成のために3つの解析可能なフィードバックフィールドを生成する。
提案手法は、教師付き微調整、プロセス整合強化学習(RL)、フィードバック誘導推論を組み合わせたものである。
論文 参考訳（メタデータ） (2026-07-07T04:09:41Z) - When RLHF Fails: A Mechanistic Taxonomy of Reward Hacking, Collapse, and Evaluator Gaming [0.0]
近似ポリシ最適化(PPO)を用いたコンパクトRLHFパイプラインの失敗モードに関する実証的研究について述べる。
我々は、学習した報酬の方向、判定スコア、および平均判定スコアを用いて、チェックポイント間の一致した遷移を分類する。
ROC-AUC 0.821による将来の行レベルの報酬ハッキングを予測し、行レベルの分析では、チェックポイント平均が12の3つの設定で見逃すような局所的な報酬ハックが見つかる。
論文 参考訳（メタデータ） (2026-06-02T06:55:52Z) - VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。
GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。
We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
論文 参考訳（メタデータ） (2026-05-28T18:20:32Z) - Converted, Not Equivalent: Benchmarking Codebase Conversion via Observational Equivalence [56.25095230687242]
コーディングエージェントは、しばしば自身のローカル検証ルーチンを過度に信頼し、表面チェックを満たすアーティファクトの成功を宣言する。
この問題は、事前評価が結果駆動である変換において特に深刻である。
ブラインド・コンバージョンは26.7-28.9%に達し、スペック・パスレートは91.1%まで上昇した。
このことは、失敗は限られた予算やバックボーンの強さよりも、契約ミスによる自己検証に起因していることを示唆している。
論文 参考訳（メタデータ） (2026-05-27T19:57:15Z) - A-ProS: Towards Reliable Autonomous Programming Through Multi-Model Feedback [4.062253229926774]
A-ProSは、ハイブリッドマルチモデルフィードバックフレームワークを通じて競合するプログラミング問題を解決する自律AIエージェントである。
A-ProSはベースラインエージェントループに比べて2倍以上のゲインを達成する。
論文 参考訳（メタデータ） (2026-05-18T08:55:30Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳（メタデータ） (2026-05-17T07:08:14Z) - BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models [9.519307176717094]
プログラム修復のための強化学習は、スパース実行フィードバックと、どの編集がバグを実際に修正するかが不明なシーケンスレベルの報酬によって妨げられる。
これらの課題に対処する3段階のフレームワークであるBoostAPRを紹介します。
論文 参考訳（メタデータ） (2026-05-09T19:31:02Z) - Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。
サンプル制御ポリシー最適化(SRPO)を提案する。
SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
論文 参考訳（メタデータ） (2026-04-02T17:29:18Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。