論文の概要: What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks
- arxiv url: http://arxiv.org/abs/2610.30635v1
- Date: Thu, 22 Oct 2026 02:56:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.194819
- Title: What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks
- Title（参考訳）: 仕様が言わなかったこと: テストグレードのコーディングベースのベンチマークで仕様-Oracleのギャップ
- Abstract要約: コーディングエージェントベンチマークは上流プロジェクトのテストでタスクを格付けすることが多い。
ベンチマークはまた、エージェントが上流の実装の詳細を再現するかどうかを測定する。
我々は、依存するタスクの連鎖が追加する不整合を含むギャップを形式化する。
私たちは5つの言語に対して静的な監査を構築し、すべてのテストの名前、パス、リテラルレベルの依存関係を分類します。
- 参考スコア（独自算出の注目度）: 2.7787094635105185
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Coding-agent benchmarks often describe a task in natural language but grade it with tests taken from the upstream project. Passing those tests can require information the description never states: a constant's name, a module path, an exact message. We call this a specification-oracle gap: where it exists, a benchmark also measures whether an agent reproduces upstream implementation details. We formalise the gap, including the inconsistencies that chains of dependent tasks add, and build a static audit for five languages that classifies every name-, path- and literal-level dependency of every scored test (held-out precision 89.2%, recall 92.9%). On SWE-Milestone (98 graded milestones, 35 published runs), 25 milestones contain a test that depends on an unstated, non-inferable name or path. Build units with such a dependency fail in 80.6% of runs, against 48.4% for comparable units without one, and withholding a single hidden name from the reference stops its unit's tests from compiling in 126 of 128 cases. The leaderboard's ranking is robust to removing the affected tests, but they shift scores within repositories and favour agents that reproduce upstream names. Across four further benchmarks, prevalence appears to follow construction: a third or more of the tasks are affected where specifications are release notes or LLM summaries, almost none where tasks are screened or written for their tests; how much a gap costs depends on how the harness grades. We release the audit, corrected filter lists and specification addenda.
- Abstract（参考訳）: コーディングエージェントベンチマークは、自然言語でタスクを記述することが多いが、上流プロジェクトのテストでそれを格付けする。
これらのテストに合格するには、定数名、モジュールパス、正確なメッセージなど、決して記述されない情報が必要になる。
ベンチマークは、エージェントが上流の実装の詳細を再現するかどうかも測定します。
依存タスクのチェーンが追加する不整合を含むギャップを形式化し、評価されたテスト(89.2%、リコール92.9%)のすべての名前、パス、リテラルレベルの依存性を分類する5つの言語のための静的監査を構築します。
SWE-Milestone(98グレードのマイルストーン、35の公開ラン)では、25のマイルストーンが、定かでない、推論不可能な名前またはパスに依存するテストを含んでいる。
このような依存関係を持つビルドユニットは、80.6%の実行で失敗し、48.4%はそれと同等のユニットで失敗し、参照から1つの隠れた名前を保持することで、128のケースのうち126のコンパイルでユニットのテストが停止される。
リーダボードのランキングは影響のあるテストを削除するために堅牢だが、リポジトリ内でスコアをシフトし、上流の名前を再現するエージェントを好んでいる。
3つ以上のタスクは、仕様がリリースノートやLCM要約であり、タスクがスクリーニングされたり、テストのために書かれたりする場所はほとんどありません。
監査、修正されたフィルタリスト、仕様のアドオンをリリースします。
関連論文リスト
- TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications [13.406683013359824]
TestSuiteBenchは165のオープンソースアプリケーションのベンチマークである。
各アプリケーションには、意図された振る舞い、参照実装、参照テストスイート、および平均74個のミュータントに関する構造化された詳細な仕様がある。
私たちは、フロンティアコーディングエージェントでさえ、強力なテストスイートを生成するのに苦労していることに気付きました。
論文 参考訳（メタデータ） (2026-10-09T06:26:02Z) - TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - Zero2Repo: Can Coding Agents Build Repositories from Scratch? [33.79367580283551]
コーディングエージェントは、パッチをパッチするのではなく、ソフトウェアを構築するように求められている。
エージェントが製品要求文書、インターフェース契約、空のワークスペースを受信するベンチマークであるZero2Repoを紹介する。
タスクは言語に依存しないオーサリングパイプラインによって生成されます。
論文 参考訳（メタデータ） (2026-09-29T14:10:23Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。
SWE-bench Verified に適用すると SWE-Proof が得られる。
論文 参考訳（メタデータ） (2026-09-18T01:16:53Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Fantastic Adaptive Taxonomies and How to Use Them [100.20614173157708]
AdaMASTは、実行トレースをコンパクトでエビデンスに基づく障害分類に変換する。
コードには手書きのコードはなく、人間による注釈もない。
エージェント・システム・サーチでは、失敗候補の分類コード診断が自由形式より優れている。
論文 参考訳（メタデータ） (2026-07-17T17:41:16Z) - DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks [1.7623000586936592]
DeepSWEは、コーディングエージェントを評価するための、113のオリジナルで長期のソフトウェアエンジニアリングタスクのベンチマークである。
タスクは91のアクティブなオープンソースリポジトリと5つの言語でスクラッチから書かれており、上流にコントリビュートされることはない。
SWE-Bench Proのプロンプトの約半分の長さにもかかわらず、DeepSWEのプロンプトは参照ソリューションが5.5倍のコードに触れるタスクを記述する。
論文 参考訳（メタデータ） (2026-07-08T21:45:34Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳（メタデータ） (2026-05-07T13:52:59Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。