論文の概要: SpecGuardBench: Can Coding Agents Construct Reliable Validation Harnesses from Natural Language Specifications?
- arxiv url: http://arxiv.org/abs/2610.16870v1
- Date: Mon, 12 Oct 2026 14:34:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:08:30.535354
- Title: SpecGuardBench: Can Coding Agents Construct Reliable Validation Harnesses from Natural Language Specifications?
- Title（参考訳）: SpecGuardBench: コーディングエージェントは、自然言語仕様から信頼性の高いバリデーションのハーネスを構築することができるか?
- Abstract要約: 実世界の13のリポジトリから291のタスクのベンチマークであるSpecGuardBenchを紹介します。
エージェントは実行可能なチェックとテストシナリオで構成されるバリデーションハーネスを構築する。
チェックは、仕様に違反している実装を拒絶し、それを満たす実装を受け入れ、シナリオは、コードを徹底的に実行する必要がある。
- 参考スコア（独自算出の注目度）: 12.865786549025323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As coding agents become more capable, tests remain the primary evidence for judging whether their code is correct. Yet passing available tests does not establish that an implementation satisfies its natural language specification. Reliable validation requires checks that faithfully capture the specification and scenarios that thoroughly exercise the code, but current benchmarks provide limited insight into whether agents can construct such evidence themselves. We introduce SpecGuardBench, a benchmark of 291 tasks from 13 real-world repositories, covering 8 types of verification logic such as functional postconditions and interaction protocols. Given a natural language specification, repository context, and a reference implementation, an agent constructs a validation harness comprising executable checks and test scenarios. The checks should reject implementations that violate the specification while accepting those that satisfy it, and the scenarios should thoroughly exercise the code. Across four proprietary and open-weight coding agents, none constructs a harness scored as faithful on the benchmark's implementations for more than 63% of the tasks. The bottleneck lies less in exploring test scenarios than in constructing checks that faithfully reflect the specification. Specifically, the agents show a clear tendency to write checks that mirror the reference implementation rather than the specification, and therefore reject implementations that the specification permits.
- Abstract（参考訳）: コーディングエージェントがより有能になるにつれて、テストは彼らのコードが正しいかどうかを判断する主要な証拠のままである。
しかし、利用可能なテストのパスは、実装がその自然言語仕様を満たすことを確証しない。
信頼性の高いバリデーションには、コードを徹底的に実行するための仕様とシナリオを忠実にキャプチャするチェックが必要ですが、現在のベンチマークでは、エージェント自身がそのようなエビデンスを構築することができるかどうかに関して、限られた洞察を提供しています。
実世界の13のリポジトリから291のタスクをベンチマークしたSpecGuardBenchを紹介し,機能的ポストコンディションやインタラクションプロトコルなど8種類の検証ロジックについて紹介する。
自然言語仕様、リポジトリコンテキスト、参照実装が与えられたエージェントは、実行可能なチェックとテストシナリオで構成されるバリデーションハーネスを構築する。
チェックは、仕様に違反している実装を拒絶し、それを満たす実装を受け入れ、シナリオは、コードを徹底的に実行する必要がある。
4つのプロプライエタリでオープンなコーディングエージェントにまたがって、63%以上のタスクでベンチマークの実装に忠実に評価されたハーネスを構築するものはない。
ボトルネックは、仕様を忠実に反映したチェックを構築することよりも、テストシナリオを探索することにある。
具体的には、エージェントは仕様よりも参照実装を反映したチェックを書く傾向を示し、したがって仕様が許す実装を拒否する。
関連論文リスト
- Self-Spec Verifiable Code Generation [33.09399251068682]
大型言語モデル(LLM)は、テストで欠落したコーナーケース上で信頼できないコードを生成するが、形式的検証はマシンチェック可能な保証を提供する。
自己検証可能なコード生成のためのベンチマークであるVeriCodeBenchを紹介する。
論文 参考訳（メタデータ） (2026-09-30T12:02:45Z) - SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs? [39.004582663385364]
Benchprooferは、既知の正しいパッチでコーディングタスクを正式に認証されたパイプラインに変換するパイプラインです。
SWE-bench Verified に適用すると SWE-Proof が得られる。
論文 参考訳（メタデータ） (2026-09-18T01:16:53Z) - Vero: Can AI Agents Build Formally Verified Software Repositories? [45.09790101960906]
Veroはリポジトリレベルで共同実装と証明を評価する最初のベンチマークである。
Python、Dafny、Verus、Coqにまたがる実世界のリポジトリから43のマルチモジュールインスタンスが含まれている。
ベンチマークの信頼性を改善するため、Veroには、エージェントが提供された仕様の不満足さを正式に証明できる監査メカニズムも含まれている。
論文 参考訳（メタデータ） (2026-08-13T17:41:27Z) - Teaching Code LLMs to Reason with Intermediate Formal Specifications [9.552020178028576]
SpecCoderは、検証済みの参照プログラム、振る舞いを変えるミュータント、マルチターン仕様修正トレースから学ぶトレーニングフレームワークである。
SpecCoderは、欠陥のある実行を拒否しながら正しい実行を保持する仕様を選択し、受動的アノテーションから実行可能なエビデンスに変換する。
論文 参考訳（メタデータ） (2026-07-05T11:09:30Z) - VeriContest: A Competitive-Programming Benchmark for Verifiable Code Generation [2.2194977808724405]
大規模言語モデルは自然言語から有用なコードを生成することができるが、その出力は正確性を保証することなく得られる。
検証可能なコード生成は、モデルに実行可能なコードだけでなく、正式な仕様やマシンチェック可能な証明を生成することを要求することによって、テストを越える道を提供する。
We present VeriContest, a benchmark of 946 competitive-playming problem from LeetCode and Codeforces for verible code generation in Rust with Verus。
論文 参考訳（メタデータ） (2026-05-08T23:25:05Z) - Beyond Code Reasoning: Specification-Anchored Auditing of Multi-Implementation Distributed Protocols [1.5229705287183657]
SPECAは、明示的で分類されたセキュリティプロパティを自然言語仕様から導き出し、実装間で再利用する監査フレームワークである。
RepoAuditのベンチマークでは、SPECAは100%リコール(F1=0.94)で88.9%の精度に達し、著者が検証した12のバグを地上の真実を超えて表面化している。
Sherlock Fusaka Audit Contest(10のターゲット、366の応募)では、SPECAが専門家が強化した15の脆弱性をすべて回復し、4つの修正確認バグが浮上した。
論文 参考訳（メタデータ） (2026-04-29T09:57:07Z) - CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation [49.30536937161147]
本稿では,実行ベース評価プロトコルの下で実行可能な動作仕様生成のためのベンチマークであるCodeSpecBenchを紹介する。
CodeSpecBenchは関数レベルとリポジトリレベルのタスクの両方をサポートし、仕様を実行可能なPython関数としてエンコードする。
リポジトリレベルのタスクでは、最高のモデルが20.2%のパス率しか達成できないため、パフォーマンスが大幅に低下するのを観察します。
論文 参考訳（メタデータ） (2026-04-14T04:31:45Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - VERINA: Benchmarking Verifiable Code Generation [46.582574591358735]
大規模言語モデル(LLM)は、ソフトウェア開発にますます統合されている。
LLM生成コードの正確性を保証することは依然として困難である。
検証可能なコード生成は、この制限に対処するための有望なパスを提供する。
論文 参考訳（メタデータ） (2025-05-29T06:12:52Z) - CLOVER: A Test Case Generation Benchmark with Coverage, Long-Context, and Verification [71.34070740261072]
本稿では,テストケースの生成と完成におけるモデルの能力を評価するためのベンチマークCLOVERを提案する。
ベンチマークはタスク間でのコード実行のためにコンテナ化されています。
論文 参考訳（メタデータ） (2025-02-12T21:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。