論文の概要: TestEvo-Bench: An Executable and Live Benchmark for Test and Code Co-Evolution
- arxiv url: http://arxiv.org/abs/2607.02469v1
- Date: Thu, 02 Jul 2026 17:35:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.945525
- Title: TestEvo-Bench: An Executable and Live Benchmark for Test and Code Co-Evolution
- Title（参考訳）: TestEvo-Bench: テストとコードの共進化のための実行可能でライブベンチマーク
- Abstract要約: TestEvo-Benchは、ソフトウェアリポジトリから抽出されたテストとコードの共進化タスクのベンチマークである。
各タスクは実際のコミット履歴に固定され、環境設定でパッケージされる。
現在のスナップショットには746のテスト生成と509のテスト更新タスクが含まれている。
- 参考スコア（独自算出の注目度）: 3.048952775453716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software tests and code evolve together: a code change should be followed by new or updated tests that record the new software behavior. Yet existing test generation and update benchmarks often isolate the test from the code change, and rely on static metadata that does not verify whether a test is executable or semantically tied to the code change. This makes it difficult to evaluate whether a test automation agent understands how a code change should propagate into the test suite. We introduce TestEvo-Bench, a benchmark of test and code co-evolution tasks mined from software repositories, with two tracks: in test generation, the agent shall write new tests to capture the new software behavior; in test update, the agent shall adapt failing existing tests to the changed software behavior. Each task is anchored to a real commit history and packaged with environment configuration to support execution-grounded metrics such as pass rate, coverage, and mutation score. TestEvo-Bench is also a live benchmark: each task records the timestamp of the test and code changes, and new tasks are periodically mined by our automated pipeline, so evaluation can be restricted to tasks postdating a model's training cutoff to reduce data leakage risk. The current snapshot contains 746 test generation and 509 test update tasks, curated from 59,950 candidate co-evolution records across 152 open-source Java projects. We experiment with four state-of-the-art agents that combine strong harnesses (Claude Code, Gemini CLI, and SWE-Agent) with strong foundation models (Claude Opus 4.7 and Gemini 3.1 Pro). Results show that they achieve up to 77.5% success rate on test generation and 74.6% on test update. However, success rate is materially lower on the most recent benchmark tasks and drops significantly under limited per-task cost.
- Abstract（参考訳）: ソフトウェアテストとコードは一緒に進化する: コードの変更に続き、新しいソフトウェアの振る舞いを記録する新しい、または更新されたテストが続きます。
しかし、既存のテスト生成および更新ベンチマークは、しばしばテストがコード変更から分離され、テストが実行可能か、あるいはコード変更に意味的に結びついているかどうかを検証しない静的メタデータに依存します。
これにより、テスト自動化エージェントがコードの変更がどのようにテストスイートに伝播すべきかを理解するかどうかを評価するのが難しくなる。
TestEvo-Benchは、ソフトウェアリポジトリから抽出されたテストとコードの共進化タスクのベンチマークであり、テスト生成では、エージェントが新しいソフトウェア動作をキャプチャするための新しいテストを書く。
各タスクは実際のコミット履歴に固定され、環境設定とともにパッケージされ、パスレート、カバレッジ、突然変異スコアなどの実行地上メトリクスをサポートする。
TestEvo-Benchはまた、ライブベンチマークである: 各タスクはテストとコードの変更のタイムスタンプを記録し、新しいタスクは自動パイプラインによって定期的にマイニングされるため、モデルのトレーニングカットオフを延期したタスクに限定して、データの漏洩リスクを低減することができる。
現在のスナップショットには746のテスト生成と509のテスト更新タスクが含まれている。
我々は、強力なハーネス(Claude Code、Gemini CLI、SWE-Agent)と強力な基礎モデル(Claude Opus 4.7、Gemini 3.1 Pro)を組み合わせた4つの最先端エージェントを実験した。
結果は、テスト生成で77.5%、テスト更新で74.6%の成功率を達成したことを示している。
しかし、最近のベンチマークタスクでは成功率が大幅に低下し、タスク当たりのコストが大幅に低下する。
関連論文リスト
- ExecCritic: Learn to Test, Test to Improve for Coding Agents [68.42713285082912]
実行時のフィードバックは、コーディングエージェントを正しいリポジトリの修復に導くことができますが、テストが問題によって要求された振る舞いをキャプチャした場合のみです。
ExecCriticを導入し、テスト-検証-修正足場と、その中のトレーニングエージェントのためのロール固有の強化学習レシピを組み合わせる。
テストエージェントが独立してリポジトリネイティブなテストを生成し、フェイルクローズされたハーネスがそれらを調整して凍結し、リカバリエージェントがテストを変更することなく、ソースコードを実行フィードバックから修正する。
論文 参考訳（メタデータ） (2026-09-08T17:53:37Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - Breaking, Stale, or Missing? Benchmarking Coding Agents on Project-Level Test Evolution [20.606877071567958]
テスト進化のための最初のプロジェクトレベルのベンチマークであるTEBenchを紹介します。
TEBenchをDefects4Jプロジェクト上で4段階のパイプラインで構築する。
3つの産業エージェントフレームワークにまたがる7つの構成を評価する。
論文 参考訳（メタデータ） (2026-05-07T12:31:09Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z) - Are Benchmark Tests Strong Enough? Mutation-Guided Diagnosis and Augmentation of Regression Suites [49.16055123488827]
十分に強力なテストスイートは、報告された成功率を膨らませながら、妥当だが意味的に正しくないパッチを認めることができる。
STINGは、意味的に変化するプログラムの変種を診断ストレス要因として利用する、ターゲットテスト拡張のためのフレームワークである。
STINGは211インスタンスにまたがる1014の検証テストを生成し、パッチリージョンラインとブランチカバレッジを10.8%、9.5%向上させた。
論文 参考訳（メタデータ） (2026-04-02T01:13:40Z) - Evaluating LLM-Based Test Generation Under Software Evolution [7.140756378584939]
大規模言語モデル(LLM)は、ユニットテストの自動生成にますます使われています。
プログラム変更によるLCMベースのテスト生成に関する大規模な実証的研究について述べる。
論文 参考訳（メタデータ） (2026-03-24T17:14:18Z) - EvoTest: Evolutionary Test-Time Learning for Self-Improving Agentic Systems [59.66823584073748]
現在のAIエージェントの基本的な制限は、テスト時に複雑なスキルをその場で学べないことだ。
EvoTestは,エージェントの微調整や勾配を伴わずにエージェントを改良する,進化的テストタイム学習フレームワークである。
論文 参考訳（メタデータ） (2025-10-15T07:16:28Z) - Targeted Test Selection Approach in Continuous Integration [34.139736599165566]
Targeted Test Selection (T-TS)は、産業用テスト選択のための機械学習アプローチである。
ライブ産業データでは、T-TSはテストの15%しか選択せず、実行時間を5.9times$に減らし、パイプラインを5.6times$に加速し、95%以上のテスト失敗を検出する。
論文 参考訳（メタデータ） (2025-09-12T14:20:51Z) - TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。
初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。
パラメータは7Bから405Bまで様々である。
論文 参考訳（メタデータ） (2024-10-01T14:47:05Z) - Observation-based unit test generation at Meta [52.4716552057909]
TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。
TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。
評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
論文 参考訳（メタデータ） (2024-02-09T00:34:39Z) - Taming Timeout Flakiness: An Empirical Study of SAP HANA [47.29324864511411]
不安定なテストは回帰テストに悪影響を及ぼします。
テストタイムアウトは、このような不安定なテストの失敗に寄与する要因のひとつです。
テストのフレキネス率は、繰り返しテストの実行回数によって49%から70%の範囲である。
論文 参考訳（メタデータ） (2024-02-07T20:01:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。