論文の概要: TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications
- arxiv url: http://arxiv.org/abs/2610.13065v1
- Date: Fri, 09 Oct 2026 06:26:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.424443
- Title: TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications
- Title（参考訳）: TestSuiteBench: 強力なテストスイートを仕様から生成するためのコーディングエージェント
- Abstract要約: TestSuiteBenchは165のオープンソースアプリケーションのベンチマークである。
各アプリケーションには、意図された振る舞い、参照実装、参照テストスイート、および平均74個のミュータントに関する構造化された詳細な仕様がある。
私たちは、フロンティアコーディングエージェントでさえ、強力なテストスイートを生成するのに苦労していることに気付きました。
- 参考スコア（独自算出の注目度）: 13.406683013359824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Coding agents are increasingly used to create large software projects. While code-generation benchmarks have scaled accordingly to full applications, test-generation benchmarks remain limited to individual functions or bug fixes. In particular, generating complete test suites for complex software from scratch remains unexplored. To address this gap, we introduce TestSuiteBench, a benchmark of 165 open-source applications, each with a structured and detailed specification of intended behavior, a reference implementation, a reference test suite, and on average 74 mutants. Each mutant is generated from a single requirement of the specification and refined to isolate that behavior: 73\% are killed by exactly one reference test and, on average, by only 0.2\% of the remaining tests. We find that even frontier coding agents struggle to generate strong test suites given our specifications, achieving mutation scores below 60\%, despite their suites being largely valid and 88\% of their tests passing on the reference implementation. We observe that generated test suites often lack relevant input combinations and are smaller than reference test suites. Meanwhile, implementations generated for the same specifications pass 82\% of the reference tests. These results show agents can build software they cannot verify, a gap that directly limits fully autonomous software development.
- Abstract（参考訳）: コーディングエージェントは、大規模なソフトウェアプロジェクトを作成するのにますます使われています。
コード生成ベンチマークは完全なアプリケーションに従ってスケールしているが、テスト生成ベンチマークは個々の機能やバグ修正に限定されている。
特に、複雑なソフトウェアのための完全なテストスイートをゼロから生成することは、まだ探索されていない。
このギャップを解決するために165のオープンソースアプリケーションのベンチマークであるTestSuiteBenchを紹介します。
各ミュータントは仕様の1つの要件から生成され、その振る舞いを分離するために洗練される。 73\%は、正確に1つの参照テストによって、平均すると、残りのテストの0.2\%しか死なない。
私たちは、フロンティアのコーディングエージェントでさえ、我々の仕様に従って強力なテストスイートを生成するのに苦労し、そのスイートがほぼ有効であり、テストの88%がリファレンス実装をパスしているにもかかわらず、60セント未満の突然変異スコアを達成することに気付きました。
生成されたテストスイートは、しばしば関連する入力の組み合わせが欠如しており、参照テストスイートよりも小さいことを観察する。
一方、同じ仕様で生成された実装は、参照テストの82\%をパスします。
これらの結果は、エージェントが検証できないソフトウェアを構築することができることを示している。
関連論文リスト
- TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。
しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。
固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
論文 参考訳（メタデータ） (2026-10-07T07:58:04Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - Grounding AI Agents in Contracts: An Empirical Evaluation of Spec-Driven Test Generation [4.061618191574875]
仕様駆動テスト生成(Spec-Driven Test Generation)は、エージェントに対して、コード事前条件、事後条件、未定義の振る舞いについて-および明示的に文書化するように指示する。
この中間半形式仕様は、その後のテスト生成を導くための認知的足場として機能する。
論文 参考訳（メタデータ） (2026-08-17T22:36:12Z) - CodeAssay: A Multi-Metric Benchmark with Audited Ground Truth for LLM Code Generation [1.8589311604031529]
CodeAssayは10のソフトウェアエンジニアリングカテゴリにまたがる185のPythonタスクの分類学第一のベンチマークである。
監査済みの真実、生成と修復のための公開テスト、グレーディングのための隠されたテスト、突然変異ベースのテストスーツ検証、選択されたコードプロパティ対策を組み合わせる。
論文 参考訳（メタデータ） (2026-08-04T12:15:17Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z) - TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。
初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。
パラメータは7Bから405Bまで様々である。
論文 参考訳（メタデータ） (2024-10-01T14:47:05Z) - Observation-based unit test generation at Meta [52.4716552057909]
TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。
TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。
評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
論文 参考訳（メタデータ） (2024-02-09T00:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。