論文の概要: Spec-Driven PBT: Deriving Semantic Invariants from Code Specifications for Agentic Property-based Testing
- arxiv url: http://arxiv.org/abs/2611.15920v1
- Date: Wed, 11 Nov 2026 19:16:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.261038
- Title: Spec-Driven PBT: Deriving Semantic Invariants from Code Specifications for Agentic Property-based Testing
- Title(参考訳): 仕様駆動型PBT:エージェントプロパティベースのテストのためのコード仕様から意味不変性を引き出す
- Abstract要約: エージェント記述コードをテストするためのプロパティのソースとして,仕様の価値について検討する。
ViBenchの25のアプリケーションで、Spec-Driven PBTは、コード駆動型PBTが見逃す新しいバグセットを見つけ、2.4倍のプロパティテストを書いた。
- 参考スコア(独自算出の注目度): 6.081274799350067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software is increasingly written by AI agents that produce an implementation from a natural language specification, a practice known as agentic coding. Code is now produced faster than it can be reviewed, and has been shown to exhibit its own characteristic failure patterns. Property-based testing (PBT), a long-standing technique in which invariant properties of a program are checked against many generated inputs, has recently been revisited with LLM agents authoring the properties, thereby removing the high-effort derivation of invariants that has long hindered its adoption. Existing methods, however, derive these properties from the implementation alone (Code-driven PBT). At the same time, a thorough specification such as a product requirements document has become routine within agentic coding, yet its role in testing the resulting code remains underexplored. We study the value of the specification as a source of properties for testing agent-written code. Our key insight is that the specification, unlike the implementation, records what the code was meant to do, and invariants derived from it are not biased by particular implementation choices. We propose Spec-Driven PBT, an agent that first expresses invariants in natural language from the specification and only then inspects the implementation to translate them into concrete tests. Across 25 applications from ViBench, Spec-Driven PBT finds a novel set of bugs that Code-driven PBT misses, while writing 2.4x fewer property tests. Though the two approaches surface a roughly equivalent number of bugs, there is little overlap: nearly 60% of the 169 total bugs are found by only one. Qualitatively, we find that the bugs unique to Spec-Driven PBT tend to violate documented product workflows whereas those to Code-driven PBT instead concentrate on implementation robustness, offering complementary value for bug discovery in agent-written code.
- Abstract(参考訳): ソフトウェアは、エージェントコーディングとして知られる自然言語仕様の実装を生成するAIエージェントによって、ますます書かれています。
コードはレビューするよりも早く生成され、独自の特徴的な障害パターンが示されている。
プログラムの不変性を多くの生成した入力に対してチェックするPBT(Property-based Testing)は、最近LSMエージェントによって再検討され、長い間その適用を妨げてきた不変量の高効率な導出が取り除かれた。
しかし、既存の手法は実装のみ(コード駆動型PBT)からこれらの特性を導出する。
同時に、製品要求文書のような徹底した仕様は、エージェントコーディングの中でルーチンになっているが、結果のコードをテストする上での役割は、まだ過小評価されていない。
エージェント記述コードをテストするためのプロパティのソースとして,仕様の価値について検討する。
私たちのキーとなる洞察は、実装とは異なり、仕様はコードが何を意図しているかを記録しており、そこから派生した不変量は特定の実装選択に偏らないということです。
本稿では,まず自然言語の不変量を表すエージェントであるSpec-Driven PBTを提案し,その実装を検査して具体的テストに変換する。
ViBenchの25のアプリケーションで、Spec-Driven PBTは、コード駆動型PBTが見逃す新しいバグセットを見つけ、2.4倍のプロパティテストを書いた。
2つのアプローチは、ほぼ同等の数のバグを表面化しているが、重複はほとんどなく、合計169のバグの60%近くは、1つしか見つからない。
質的に見れば、仕様駆動 PBT 特有のバグはドキュメント化された製品ワークフローに反する傾向にあるのに対して、コード駆動 PBT のバグは実装の堅牢性に重点を置いており、エージェント記述コードでのバグ発見に補完的な価値を提供する。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳(メタデータ) (2026-09-03T17:53:34Z) - Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation [4.061618191574875]
仕様駆動テスト生成(Spec-Driven Test Generation)は、エージェントに対して、コード事前条件、事後条件、未定義の振る舞いについて-および明示的に文書化するように指示する。
この中間半形式仕様は、その後のテスト生成を導くための認知的足場として機能する。
論文 参考訳(メタデータ) (2026-08-17T22:36:12Z) - Vero: Can AI Agents Build Formally Verified Software Repositories? [45.09790101960906]
Veroはリポジトリレベルで共同実装と証明を評価する最初のベンチマークである。
Python、Dafny、Verus、Coqにまたがる実世界のリポジトリから43のマルチモジュールインスタンスが含まれている。
ベンチマークの信頼性を改善するため、Veroには、エージェントが提供された仕様の不満足さを正式に証明できる監査メカニズムも含まれている。
論文 参考訳(メタデータ) (2026-08-13T17:41:27Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳(メタデータ) (2026-05-02T11:31:33Z) - CodeSpecBench: Benchmarking LLMs for Executable Behavioral Specification Generation [49.30536937161147]
本稿では,実行ベース評価プロトコルの下で実行可能な動作仕様生成のためのベンチマークであるCodeSpecBenchを紹介する。
CodeSpecBenchは関数レベルとリポジトリレベルのタスクの両方をサポートし、仕様を実行可能なPython関数としてエンコードする。
リポジトリレベルのタスクでは、最高のモデルが20.2%のパス率しか達成できないため、パフォーマンスが大幅に低下するのを観察します。
論文 参考訳(メタデータ) (2026-04-14T04:31:45Z) - Alignment with Fill-In-the-Middle for Enhancing Code Generation [56.791415642365415]
コードスニペットを小さな粒度のブロックに分割し,同じテストケースからより多様なDPOペアを生成する手法を提案する。
提案手法は,HumanEval (+), MBPP (+), APPS, LiveCodeBench, BigCodeBenchといったベンチマークデータセットの実験によって検証された,コード生成タスクの大幅な改善を示す。
論文 参考訳(メタデータ) (2025-08-27T03:15:53Z) - Use Property-Based Testing to Bridge LLM Code Generation and Validation [38.25155484701058]
大きな言語モデル(LLM)はコード生成において優れていますが、その出力が機能的に正しいことを保証することは、永続的な課題です。
本稿では,Property-Generated Solverを紹介した。Property-Based Testing (PBT)を活用して,高レベルのプログラム特性を検証する新しいフレームワークである。
プロパティ生成ソルバーには、コード生成と反復リファインメント専用のジェネレータと、PBTライフサイクルを管理するテスタという、2つの共同LLMベースのエージェントが使用されている。
論文 参考訳(メタデータ) (2025-06-23T06:01:12Z) - LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。
私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。
私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
論文 参考訳(メタデータ) (2025-01-15T05:51:20Z) - DiffSpec: Differential Testing with LLMs using Natural Language Specifications and Code Artifacts [7.019166148885954]
本稿では,プロンプト連鎖を用いた差分テストを生成するフレームワークであるDiffSpecを紹介する。
DiffSpecの2つの異なる(大規模にテストされた)システム、eBPFランタイム、Wasmバリデータに対する有効性を示す。
論文 参考訳(メタデータ) (2024-10-05T18:11:14Z) - Can Large Language Models Write Good Property-Based Tests? [5.671039991090038]
プロパティベースのテスト(PBT)は、現実世界のソフトウェアではいまだにあまり使われていない。
2つのプロンプト手法を用いて,近代言語モデルを用いてPSTを自動的に合成する。
最適なモデルとプロンプトアプローチにより,有効かつ健全なPBTを平均2.4サンプルで合成できることが判明した。
論文 参考訳(メタデータ) (2023-07-10T05:09:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。