論文の概要: Benchmarking LLM Agents for Behaviorally Adequate Test Generation from Software Requirements
- arxiv url: http://arxiv.org/abs/2610.36584v1
- Date: Tue, 27 Oct 2026 03:41:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-28 21:04:31.477373
- Title: Benchmarking LLM Agents for Behaviorally Adequate Test Generation from Software Requirements
- Title（参考訳）: LLMエージェントのソフトウェア要件からの振る舞いの適切なテスト生成のためのベンチマーク
- Abstract要約: テスト生成ベンチマークは主にホワイトボックステストに焦点を当てているが、要件-テスト関連の研究は通常、与えられたドキュメントと生成されたテスト間のセマンティックアライメントを評価する必要がある。
Req2Test-Benchは、開発者によって承認された振る舞い駆動開発成果物から回収された5,086の実行検証インスタンスを含むベンチマークである。
- 参考スコア（独自算出の注目度）: 23.24451678245347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language model agents increasingly compile natural-language requirements into repository-level code, requirement-to-test generation grows in importance to provide validation constraints (or harness) to guide code generation. Yet it remains unclear whether current agents can generate tests that validate the required behavior when the implementation of that behavior is withheld. Existing test-generation benchmarks mostly focus on white-box testing, whereas the requirement--test-related study usually requires evaluation on semantic alignment between the given documents and the generated tests. We introduce Req2Test-Bench, a benchmark containing 5,086 execution-validated instances recovered from developer-authored behavior-driven development (BDD) artifacts in 8 open-source projects, spanning 5 programming languages and 4 BDD frameworks. Each instance pairs a natural-language requirement in Gherkin with its developer-written Test Implementation. Given the requirement, target interfaces of the required behavior, an agent must generate a complete, potentially multi-file Test Implementation. Evaluation of 8 agent--model--reasoning configurations reveals a substantial gap between execution success and behavioral adequacy, which is measured strictly as kill-completeness: a kill-complete test kills every mutant that the ground-truth test kills. The best-performing configuration, Codex with DeepSeek-V4.1-Flash, produces passing tests for 82.8% of instances, yet only 33.8% are behaviorally adequate. We find that (1) scaling up agents yields sharply diminishing returns in behavioral adequacy relative to generation cost; (2) under-specified requirements cause the information gap, including ambiguous setup and implicit expected outcomes; and (3) requirement-grounded harnesses that steer agent non-determinism offer a promising direction for improvement.
- Abstract（参考訳）: 大規模言語モデルエージェントは、自然言語要求をリポジトリレベルのコードにコンパイルする傾向にあるため、コード生成をガイドするバリデーション制約(あるいはハーネス)を提供するために、要件からテストへの生成が重要になる。
しかし、現在のエージェントが、その振る舞いの実装が受け入れられていないときに、必要な振る舞いを検証するテストを生成することができるかどうかは不明だ。
既存のテスト生成ベンチマークは主にホワイトボックステストに焦点を当てているが、要件-テスト関連の研究は通常、与えられたドキュメントと生成されたテスト間のセマンティックアライメントを評価する必要がある。
Req2Test-Benchは、開発者による振る舞い駆動開発(BDD)成果物から回収された5,086のインスタンスを含むベンチマークで、5つのプログラミング言語と4つのBDDフレームワークにまたがる8つのオープンソースプロジェクトを紹介します。
各インスタンスは、Gherkinの自然言語要件と開発者が記述したテスト実装をペアリングする。
要求、必要な振る舞いのターゲットインターフェースを考えると、エージェントは完全な、潜在的に複数ファイルのテスト実装を生成する必要があります。
8つのエージェント-モデル-推論構成の評価は、実行の成功と行動の正確さの間に大きなギャップがあることを示しており、これは厳密にはキル完全性として測定されている。
最高のパフォーマンス設定であるCodex with DeepSeek-V4.1-Flashは82.8%のインスタンスでパステストを生成するが、動作に適しているのは33.8%に過ぎなかった。
その結果,(1) エージェントのスケールアップは, 生成コストに対する行動適性の変化を著しく減少させ, (2) 不明瞭なセットアップや暗黙的な期待結果を含む情報ギャップを生じさせ, (3) ステアエージェント非決定主義が改善のための有望な方向を提供する要求基底型ハーネスが得られた。
関連論文リスト
- TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation [4.061618191574875]
仕様駆動テスト生成(Spec-Driven Test Generation)は、エージェントに対して、コード事前条件、事後条件、未定義の振る舞いについて-および明示的に文書化するように指示する。
この中間半形式仕様は、その後のテスト生成を導くための認知的足場として機能する。
論文 参考訳（メタデータ） (2026-08-17T22:36:12Z) - TDD-Agent: Test-Driven Reasoning for Code Generation [12.09256800328452]
既存のアプローチでは、生成されたテストを静的なポストホックバリデータとして使用しています。
コード生成のためのテスト駆動開発パラダイムを運用するTDD-Agentを紹介します。
論文 参考訳（メタデータ） (2026-08-17T15:52:04Z) - Multi-Agent LLM Collaboration for Unit Test Generation via Human-Testing-Inspired Workflows [18.32804849870551]
大規模言語モデル(LLM)は、自動単体テスト生成の研究を急加速させた。
マルチエージェント協調機構を用いて,人間のテストプラクティスをエミュレートするLLMベースのテスト生成手法であるTestAgentを提案する。
TestAgentは97.46%の実行率、92.34%のラインカバレッジ、90.24%のブランチカバレッジ、6つのJavaプロジェクトで83.69%の突然変異スコアを達成した。
論文 参考訳（メタデータ） (2026-07-10T05:16:54Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Scaling Agentic Verifier for Competitive Coding [66.11758166379092]
大規模言語モデル(LLM)は強力なコーディング能力を示しているが、1回の試行で競合するプログラミング問題を正しく解くのに苦戦している。
実行ベースの再ランク付けは、有望なテスト時間スケーリング戦略を提供するが、既存のメソッドは、難しいテストケースの生成または非効率的なランダム入力サンプリングによって制約される。
本稿では,プログラムの動作を積極的に推論し,高い差別性のあるテスト入力を検索するエージェント検証手法を提案する。
論文 参考訳（メタデータ） (2026-02-04T06:30:40Z) - Intention-Driven Generation of Project-Specific Test Cases [45.2380093475221]
検証意図の記述からプロジェクト固有のテストを生成するIntentionTestを提案する。
13のオープンソースプロジェクトから4,146件のテストケースで,最先端のベースライン(DA, ChatTester, EvoSuite)に対してIntentionTestを広範囲に評価した。
論文 参考訳（メタデータ） (2025-07-28T08:35:04Z) - TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。
初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。
パラメータは7Bから405Bまで様々である。
論文 参考訳（メタデータ） (2024-10-01T14:47:05Z) - Towards Automatic Generation of Amplified Regression Test Oracles [44.45138073080198]
回帰テストオラクルを増幅するためのテストオラクル導出手法を提案する。
このアプローチはテスト実行中にオブジェクトの状態を監視し、以前のバージョンと比較して、SUTの意図した振る舞いに関連する変更を検出する。
論文 参考訳（メタデータ） (2023-07-28T12:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。