論文の概要: SpecBench: Measuring Reward Hacking in Long-Horizon Coding Agents
- arxiv url: http://arxiv.org/abs/2605.21384v1
- Date: Wed, 20 May 2026 16:41:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.788484
- Title: SpecBench: Measuring Reward Hacking in Long-Horizon Coding Agents
- Title（参考訳）: SpecBench: ロング・ホライゾン・コーディング・エージェントにおけるリワード・ハッキングの計測
- Authors: Bingchen Zhao, Dhruv Srikanth, Yuxiang Wu, Zhengyao Jiang,
- Abstract要約: ソフトウェア工学のタスクを3つに分解して報酬ハッキング現象を研究する。
本稿では,30のシステムレベルプログラミングタスクからなるベンチマークであるSpecBenchを紹介する。
- 参考スコア（独自算出の注目度）: 19.50647108178884
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As long-horizon coding agents produce more code than any developer can review, oversight collapses onto a single surface: the automated test suite. Reward hacking naturally arises in this setup, as the agent optimizes for passing tests while deviating from the users true goal. We study this reward hacking phenomenon by decompose software engineering tasks into three parts: (i) a natural language description of the specification (ii) visible validation tests that exercise specified features in isolation, and (iii) held-out tests that compose those same features to simulate real-world usage. Based on the specification and the visible validation test suites, a genuine agent would be able to generate a solution that can also pass all of the held-out tests. Therefore we use the gap in pass rates on these two suites to quantify reward hacking. Based on this methodology, we introduce SpecBench, a benchmark comprising 30 systems-level programming tasks ranging from short horizon tasks like building a JSON parser to ultra long horizon tasks like building an entire OS kernel from scratch. Large-scale experiments reveal a consistent pattern: while every frontier agent saturates the visible suite, reward hacking persists, with smaller models exhibiting larger gaps on holdout suites. The gap also scales sharply with task length: it grows by 28 percentage points for every tenfold increase in code size. Failures range from subtle feature isolation to deliberate exploits, including a 2,900-line hash-table "compiler" that memorizes test inputs. SpecBench offers a principled testbed for measuring whether coding agents build genuine working systems or merely game the test suites developers hand them.
- Abstract（参考訳）: ロングホライゾンコーディングエージェントは、どの開発者よりも多くのコードを生成するため、自動化テストスイート(automated test suite)という、単一のサーフェスに監視が崩壊する。
エージェントがテストのパスを最適化し、ユーザの真の目標を逸脱しながら、リワードハックが自然に発生する。
我々は、ソフトウェア工学のタスクを3つに分割することで、報酬ハッキング現象を研究する。
一 明細書の自然言語による記述
二 特定特徴を単独で行使する可視性検証試験及び
(iii)現実世界の使用をシミュレートするため、これらの機能を構成するホールドアウトテスト。
仕様と可視性検証テストスイートに基づいて、真のエージェントは、ホールドアウトテストをすべてパス可能なソリューションを生成することができる。
したがって、これらの2つのスイートのパスレートのギャップを利用して、報酬のハッキングを定量化します。
これは、JSONパーサの構築から、スクラッチからOSカーネル全体を構築するような超長い水平タスクまで、30のシステムレベルのプログラミングタスクからなるベンチマークである。
すべてのフロンティアエージェントが可視性スイートを飽和させる一方で、報酬のハッキングは継続し、小さなモデルではホールトアウトスイートのギャップが大きい。
コードサイズが10倍に増えるごとに28パーセント増加します。
失敗は、微妙な特徴分離から、テスト入力を記憶する2,900行のハッシュテーブル“コンパイラ”を含む故意のエクスプロイトまで様々である。
SpecBenchは、コーディングエージェントが本物のオペレーティングシステムを構築しているか、それとも単に開発者が手渡したテストスイートをゲームしているかを測定するための、原則化されたテストベッドを提供する。
関連論文リスト
- Code as Agent Harness [107.31925305395957]
新興のエージェントシステムでは、コードはもはや単なる目標出力ではない。
コードはエージェントの推論、行動、環境モデリング、実行ベースの検証のための運用上の基盤としてますます役立っている。
この調査は、実行可能、検証可能、ステートフルなAIエージェントシステムに向けた統一されたロードマップを提供する。
論文 参考訳（メタデータ） (2026-05-18T17:59:03Z) - ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。
エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。
モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
論文 参考訳（メタデータ） (2026-05-05T09:17:02Z) - WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing [57.7131457251794]
エンドツーエンドの自動Webテストを評価するベンチマークであるWebTestBenchを紹介します。
テストプロセスを2つのカスケードサブタスク、チェックリストの生成と欠陥検出に分解し、WebTesterを提案する。
以上の結果から,現在のコンピュータ利用エージェント能力と産業レベルの展開要求との間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2026-03-26T09:27:29Z) - SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks [55.76734816061826]
我々は20の問題と93のチェックポイントからなる言語に依存しないベンチマークであるSlopCodeBenchを紹介する。
我々は、冗長性、重複コードの割合、構造的侵食という2つの軌道レベルの品質信号を追跡する。
11モデルにまたがるエンドツーエンドの問題を解決するエージェントは存在しない。
論文 参考訳（メタデータ） (2026-03-25T19:26:44Z) - SecCodeBench-V2 Technical Report [43.10947096543533]
SecCodeBench-V2は,セキュアなコードを生成するLarge Language Model (LLM)コピロの能力を評価するためのベンチマークである。
SecCodeBench-V2は、アリババグループの工業生産から派生した98世代および修正シナリオを含む。
各シナリオに対して、SecCodeBench-V2は、機能検証とセキュリティ検証の両方に対して実行可能な概念実証(PoC)テストケースを提供する。
論文 参考訳（メタデータ） (2026-02-17T10:47:06Z) - ImpossibleBench: Measuring LLMs' Propensity of Exploiting Test Cases [58.411135609139855]
タスク完了のための「ショートカット」は、大規模言語モデルの信頼性評価と展開に重大なリスクをもたらす。
我々は,LLMエージェントがテストケースを利用するための正当性を測定するベンチマークフレームワークであるImpossibleBenchを紹介する。
実践的なフレームワークとして、ImpossibleBenchは単なる評価ではなく、汎用的なツールである。
論文 参考訳（メタデータ） (2025-10-23T06:58:32Z) - FeatBench: Evaluating Coding Agents on Feature Implementation for Vibe Coding [11.846768103642583]
FeatBenchは、機能実装に焦点を当てた、バイブコーディングのための新しいベンチマークである。
FeatBenchは、ベンチマークを進化させるための品質と完全に自動化されたパイプラインを保証するために、マルチレベルのフィルタリングパイプライン上に構築されている。
我々の評価によると、ビブ符号化パラダイムにおける機能実装は重要な課題であり、最高成功率は29.94%である。
論文 参考訳（メタデータ） (2025-09-26T11:47:50Z) - UltraHorizon: Benchmarking Agent Capabilities in Ultra Long-Horizon Scenarios [63.67884284105684]
textbfUltraHorizonは、複雑な現実世界の課題に不可欠な基礎的能力を測定する新しいベンチマークである。
エージェントは、隠されたルールを反復的に発見しなければならない、長期にわたる発見タスクで設計されている。
実験の結果, LLM-agents はこれらの設定において常に不利な成績を示し, ヒトは高いスコアを得ることができた。
論文 参考訳（メタデータ） (2025-09-26T02:04:00Z) - SWT-Bench: Testing and Validating Real-World Bug-Fixes with Code Agents [10.730852617039451]
ユーザ問題をテストケースに形式化するLLMベースのコードエージェントについて検討する。
我々は人気のあるGitHubリポジトリに基づいた新しいベンチマークを提案し、現実世界の問題、地味なバグフィックス、ゴールデンテストを含む。
コード修復用に設計されたコードエージェントは,テスト生成用に設計されたシステムの性能を上回っている。
論文 参考訳（メタデータ） (2024-06-18T14:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。