論文の概要: The Verification Horizon: No Silver Bullet for Coding Agent Rewards
- arxiv url: http://arxiv.org/abs/2606.26300v2
- Date: Mon, 29 Jun 2026 08:21:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 15:56:39.053543
- Title: The Verification Horizon: No Silver Bullet for Coding Agent Rewards
- Title（参考訳）: The Verification Horizon:Silver Bullet for Coding Agent Rewards
- Abstract要約: 私たちが構築できるすべての検証は、人間の意図のプロキシであり、意図そのものではない。
本研究では,一般的なコーディングタスクのテスト検証器,タスクのルーリック検証器,現実世界のエージェントタスクのユーザ検証器,ロングホライゾンタスクの自動エージェント検証器の4つの報奨構成について検討する。
- 参考スコア（独自算出の注目度）: 43.44981171726209
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A classical intuition holds that verifying a solution is easier than producing one. For today's coding agents, this intuition is being inverted: as foundation models develop stronger reasoning capabilities and engineering harnesses grow more sophisticated, generating complex candidate solutions is no longer difficult -- reliably verifying them has become the harder problem. Every verifier we can build is only a proxy for human intent, never the intent itself. This makes verification subject to a twofold difficulty: first, intent is underspecified by nature, making it inherently hard to faithfully check whether it has been fulfilled; second, during model training, optimization widens the gap between proxy and intent -- manifesting as reward hacking or signal saturation. To address this, we characterize the quality of verification signals along three dimensions -- scalability, faithfulness, and robustness -- and argue that achieving all three simultaneously is the central challenge. We further study four reward constructions: a test verifier for general coding tasks, a rubric verifier for frontend tasks, the user as verifier for real-world agent tasks, and an automated agent verifier for long-horizon tasks. Across different task types and policy capability levels, we conduct in-depth analysis and experiments on the core challenges of reward design and how to more effectively leverage reward signals. Experiments show that targeted verification design can effectively suppress reward hacking, improve task completion quality, and achieve significant gains across multiple internal and public benchmarks. These experiences collectively point to a core observation: no fixed reward function can remain effective as policy capability continues to grow; and verification must co-evolve with the generator.
- Abstract（参考訳）: 古典的な直観では、ソリューションの検証は、ソリューションの生成よりも容易である。
今日のコーディングエージェントにとって、この直感は逆転している。基盤モデルがより強力な推論能力を開発するにつれて、エンジニアリングハーネスがより洗練され、複雑な候補ソリューションを生成することがもはや難しくない - 確実に検証できるすべての検証は難しい問題になっている。
これを解決するために,3つの次元 – スケーラビリティ,忠実性,堅牢性 – に沿って検証信号の品質を特徴付けるとともに,これら3つを同時に達成することが中心的な課題である,と論じる。
さらに、一般的なコーディングタスクのテスト検証器、フロントエンドタスクのルーリック検証器、現実世界エージェントタスクのユーザ検証器、長距離タスクの自動エージェント検証器の4つの報奨構成について検討する。
タスクタイプやポリシ能力のレベルによって、報酬設計のコア課題や、報酬信号をより効果的に活用する方法について、詳細な分析と実験を行う。
実験により、対象とする検証設計は、報酬のハッキングを効果的に抑制し、タスク完了の品質を向上し、複数の内部および公開ベンチマークで大きな利益を得られることが示された。
政策能力が成長し続けるにつれて、固定報酬関数は有効であり続けることができず、検証はジェネレータと共同で行う必要がある。
関連論文リスト
- When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study [77.64957118012423]
検証可能な報酬(RLVR)による強化学習は、大規模言語モデル推論において大きな進歩をもたらした。
最近の研究は、多数決や信頼に基づくスコアなど、モデル自身の信号から報酬を導き出すことによって、この問題に対処している。
本稿では,コード生成における本質的な報酬手法の体系的研究について述べる。
論文 参考訳（メタデータ） (2026-06-18T19:15:50Z) - Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - AgentV-RL: Scaling Reward Modeling with Agentic Verifier [63.55502685076245]
試験時間スケーリング(TTS)によるLCM推論を強化する検証器が実証されている。
本稿では,報酬モデリングを多ターンツール拡張型検討プロセスに変換するフレームワークであるエージェント検証を提案する。
Agentic Verifier は並列およびシーケンシャルTS の両方で一貫した性能向上が得られることを示す。
論文 参考訳（メタデータ） (2026-04-17T12:27:36Z) - BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing? [61.247730037229815]
BeyondSWEは2つの軸 – 解像度スコープと知識スコープ – に沿って既存の評価を拡張する包括的なベンチマークです。
外部知識の役割を解明するために,ディープ検索とコーディング能力を統合するフレームワークであるSearchSWEを開発した。
この作業は、現実的で挑戦的な評価ベンチマークと、より有能なコードエージェントに向けた研究を進めるための柔軟なフレームワークの両方を提供する。
論文 参考訳（メタデータ） (2026-03-03T17:52:01Z) - Overseeing Agents Without Constant Oversight: Challenges and Opportunities [18.59016735781908]
本稿では, 基本動作トレースの有用性を検証し, 設計プローブによる3つの選択肢を探索し, エラー検出に対する新しいインターフェースの影響を検証する。
本研究は,エージェントシステムの人為的検証の課題として,ビルトイン仮定の管理,ユーザの主観的・変化的正当性基準,エージェントのプロセスを伝える上での欠点,そして,その重要性について考察する。
論文 参考訳（メタデータ） (2026-02-18T20:16:24Z) - Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense [36.71358559780692]
HEROは、検証者信号と報酬モデルスコアを構造化された方法で統合する強化学習フレームワークである。
HEROはRMのみのベースラインと検証者のみのベースラインを一貫して上回り、検証可能なタスクと検証しにくいタスクの両方で大きな利益を上げている。
論文 参考訳（メタデータ） (2025-10-08T17:09:41Z) - SONA: Learning Conditional, Unconditional, and Mismatching-Aware Discriminator [54.562217603802075]
帰納的バイアスを伴う最終層において,自然性(美容性)とアライメントを別々に投影するSONA(Sum of Naturalness and Alignment)を導入する。
クラス条件生成タスクの実験により、SONAは最先端の手法に比べて優れたサンプル品質と条件アライメントを達成することが示された。
論文 参考訳（メタデータ） (2025-10-06T08:26:06Z) - Can Large Reasoning Models Self-Train? [51.0277533541394]
多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。
この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。
しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
論文 参考訳（メタデータ） (2025-05-27T17:16:00Z) - SERENE: A Collusion Resilient Replication-based Verification Framework [0.4297070083645048]
衝突検出と緩和のソリューションは、信頼できるサードパーティサーバーの使用や、検証されたタスクを必要とすることが多い。
本稿では, 衝突作業者を検出し, 軽減する, 回復力のあるレプリケーションベースの検証フレームワークSERENEを提案する。
我々はSERENEの性能をStaabらと比較し、平均50%と60%の精度で検出精度と緩和精度を向上した。
論文 参考訳（メタデータ） (2024-04-17T14:11:31Z) - Large Language Model-Powered Smart Contract Vulnerability Detection: New
Perspectives [8.524720028421447]
本稿では, GPT-4 のような大規模言語モデル (LLM) を利用する機会, 課題, 潜在的な解決策を体系的に分析する。
高いランダム性でより多くの答えを生成することは、正しい答えを生み出す可能性を大幅に押し上げるが、必然的に偽陽性の数が増加する。
本稿では,GPTLens と呼ばれる,従来の一段階検出を2つの相乗的段階に分割し,生成と識別を行う逆方向のフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-02T12:37:23Z) - Open-Ended Learning Leads to Generally Capable Agents [12.079718607356178]
環境領域内のタスクの宇宙を定義し、この広大な空間をまたいだエージェントを訓練する能力を示す。
結果として生じる空間は、エージェントがもたらす課題に関して非常に多様であり、エージェントの学習の進捗を測定することさえも、オープンな研究課題である。
オープンエンド学習プロセスの構築により,エージェントが学習を止めないようなトレーニングタスク分布や訓練目標を動的に変化させることで,新しい行動の一貫性のある学習が可能になることを示す。
論文 参考訳（メタデータ） (2021-07-27T13:30:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。