論文の概要: E-Test: E'er-Improving Test Suites

• arxiv url: http://arxiv.org/abs/2510.19860v1
• Date: Tue, 21 Oct 2025 21:23:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.41677
• Title: E-Test: E'er-Improving Test Suites
• Title（参考訳）: E-Test: E'er-Improving Test Suites
• Authors: Ketai Qiu, Luca Di Grazia, Leonardo Mariani, Mauro Pezzè,
• Abstract要約: E-Testは、大規模なシナリオからまだテストされていない実行を特定します。 テストスイートを強化する新しいテストケースを生成する。 E-Testは、テストされていない実行シナリオを最先端のアプローチよりも大幅に改善する。
• 参考スコア（独自算出の注目度）: 8.585182075116336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test suites are inherently imperfect, and testers can always enrich a suite with new test cases that improve its quality and, consequently, the reliability of the target software system. However, finding test cases that explore execution scenarios beyond the scope of an existing suite can be extremely challenging and labor-intensive, particularly when managing large test suites over extended periods. In this paper, we propose E-Test, an approach that reduces the gap between the execution space explored with a test suite and the executions experienced after testing by augmenting the test suite with test cases that explore execution scenarios that emerge in production. E-Test (i) identifies executions that have not yet been tested from large sets of scenarios, such as those monitored during intensive production usage, and (ii) generates new test cases that enhance the test suite. E-Test leverages Large Language Models (LLMs) to pinpoint scenarios that the current test suite does not adequately cover, and augments the suite with test cases that execute these scenarios. Our evaluation on a dataset of 1,975 scenarios, collected from highly-starred open-source Java projects already in production and Defects4J, demonstrates that E-Test retrieves not-yet-tested execution scenarios significantly better than state-of-the-art approaches. While existing regression testing and field testing approaches for this task achieve a maximum F1-score of 0.34, and vanilla LLMs achieve a maximum F1-score of 0.39, E-Test reaches 0.55. These results highlight the impact of E-Test in enhancing test suites by effectively targeting not-yet-tested execution scenarios and reducing manual effort required for maintaining test suites.
• Abstract（参考訳）: テストスイートは本質的に不完全であり、テスタは常に、その品質を改善し、結果としてターゲットのソフトウェアシステムの信頼性を向上する、新しいテストケースでスイートを豊かにすることができる。 しかし、既存のスイートの範囲を超えて実行シナリオを探索するテストケースを見つけることは、特に大規模なテストスイートを長期にわたって管理する場合、非常に困難で労力がかかります。 本稿では,テストスイートで探索した実行スペースと,本運用時に発生する実行シナリオを探索するテストケースでテストスイートを拡張してテスト後に経験した実行スペースとのギャップを低減するアプローチであるE-Testを提案する。 E-Test i) 集中運用中に監視されているような、大規模なシナリオからまだテストされていない実行を識別する。 (ii)テストスイートを強化する新しいテストケースを生成する。 E-Testは、LLM(Large Language Models)を活用して、現在のテストスイートが適切にカバーしていないシナリオを特定し、これらのシナリオを実行するテストケースでスイートを拡張する。 すでに実運用環境にある高度にスターされているオープンソースJavaプロジェクトとDefects4Jから収集された1,975のシナリオのデータセットに対する評価は、E-Testがテストされていない実行シナリオを、最先端のアプローチよりも大幅に改善することを示した。 既存の回帰テストとフィールドテストのアプローチでは最大F1スコアは0.34、バニラLLMは最大F1スコアは0.39となるが、E-Testは0.55に達する。 これらの結果は、未テストの実行シナリオを効果的にターゲットし、テストスイートのメンテナンスに必要な手作業を減らすことで、テストスイートの強化におけるE-Testの影響を強調している。

関連論文リスト

• Intention-Driven Generation of Project-Specific Test Cases [45.2380093475221]
  検証意図の記述からプロジェクト固有のテストを生成するIntentionTestを提案する。 13のオープンソースプロジェクトから4,146件のテストケースで,最先端のベースライン(DA, ChatTester, EvoSuite)に対してIntentionTestを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-07-28T08:35:04Z)
• Ever-Improving Test Suite by Leveraging Large Language Models [0.0]
  ソフトウェアシステムの実際の使用を反映したテストケースによるテストスイートの拡大は、長く続くソフトウェアシステムの品質を維持する上で非常に重要である。 E-Testは、本番環境で発生しまだテストされていない動作を実行するテストケースでテストスイートを漸進的に拡張するアプローチである。
  論文  参考訳（メタデータ） (2025-04-15T13:38:25Z)
• ProjectTest: A Project-level LLM Unit Test Generation Benchmark and Impact of Error Fixing Mechanisms [48.43237545197775]
  単体テスト生成はLLMの有望かつ重要なユースケースとなっている。 ProjectTestは、Python、Java、JavaScriptをカバーするユニットテスト生成のためのプロジェクトレベルのベンチマークである。
  論文  参考訳（メタデータ） (2025-02-10T15:24:30Z)
• TestGenEval: A Real World Unit Test Generation and Test Completion Benchmark [24.14654309612826]
  TestGenEvalは、1,210のコードから68,647のテストと、11の保守されたPythonリポジトリにまたがるテストファイルペアで構成されている。 初期テストのオーサリング、テストスイートの補完、コードカバレッジの改善をカバーしている。 パラメータは7Bから405Bまで様々である。
  論文  参考訳（メタデータ） (2024-10-01T14:47:05Z)
• A System for Automated Unit Test Generation Using Large Language Models and Assessment of Generated Test Suites [1.4563527353943984]
  大規模言語モデル(LLM)はソフトウェア開発の様々な側面に適用されている。 Javaプロジェクトのテストスイートを生成する自動化システムであるAgoneTestを紹介します。
  論文  参考訳（メタデータ） (2024-08-14T23:02:16Z)
• Observation-based unit test generation at Meta [52.4716552057909]
  TestGenは、アプリケーション実行中に観察された複雑なオブジェクトのシリアライズされた観察から作られたユニットテストを自動的に生成する。 TestGenは518のテストを本番環境に投入し、継続的統合で9,617,349回実行され、5,702の障害が見つかった。 評価の結果,信頼性の高い4,361のエンドツーエンドテストから,少なくとも86%のクラスでテストを生成することができた。
  論文  参考訳（メタデータ） (2024-02-09T00:34:39Z)
• Towards Automatic Generation of Amplified Regression Test Oracles [44.45138073080198]
  回帰テストオラクルを増幅するためのテストオラクル導出手法を提案する。 このアプローチはテスト実行中にオブジェクトの状態を監視し、以前のバージョンと比較して、SUTの意図した振る舞いに関連する変更を検出する。
  論文  参考訳（メタデータ） (2023-07-28T12:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。