論文の概要: A Feature-Based Approach to Generating Comprehensive End-to-End Tests
- arxiv url: http://arxiv.org/abs/2408.01894v1
- Date: Sun, 4 Aug 2024 01:16:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-06 18:01:12.238391
- Title: A Feature-Based Approach to Generating Comprehensive End-to-End Tests
- Title(参考訳): 包括的エンドツーエンドテスト生成のための特徴ベースアプローチ
- Authors: Parsa Alian, Noor Nashid, Mobina Shahbandeh, Taha Shabani, Ali Mesbah,
- Abstract要約: AUTOE2Eは、セマンティックに意味のある機能駆動型E2EテストケースをWebアプリケーション向けに自動生成する新しいアプローチである。
E2EBENCHは、E2Eテストスイートの機能カバレッジを自動的に評価する新しいベンチマークである。
- 参考スコア(独自算出の注目度): 5.7340627516257525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: End-to-end (E2E) testing is essential for ensuring web application quality. However, manual test creation is time-consuming and current test generation techniques produce random tests. In this paper, we present AUTOE2E, a novel approach that leverages Large Language Models (LLMs) to automate the generation of semantically meaningful feature-driven E2E test cases for web applications. AUTOE2E intelligently infers potential features within a web application and translates them into executable test scenarios. Furthermore, we address a critical gap in the research community by introducing E2EBENCH, a new benchmark for automatically assessing the feature coverage of E2E test suites. Our evaluation on E2EBENCH demonstrates that AUTOE2E achieves an average feature coverage of 79%, outperforming the best baseline by 558%, highlighting its effectiveness in generating high-quality, comprehensive test cases.
- Abstract(参考訳): エンド・ツー・エンド(E2E)テストは、Webアプリケーションの品質を保証するために不可欠である。
しかし、手動のテスト生成は時間がかかり、現在のテスト生成技術はランダムなテストを生成する。
本稿では,Large Language Models (LLMs) を利用したWebアプリケーションの意味論的特徴駆動型E2Eテストケースの自動生成手法であるAUTOE2Eを提案する。
AUTOE2Eは、Webアプリケーション内の潜在的な機能をインテリジェントに推論し、実行可能なテストシナリオに変換する。
さらに、E2Eテストスイートの機能カバレッジを自動的に評価する新しいベンチマークであるE2EBENCHを導入することで、研究コミュニティにおける重要なギャップに対処する。
E2EBENCHの評価は,AUTOE2Eが平均79%の機能カバレッジを達成し,最高のベースラインを558%上回り,高品質で総合的なテストケースを生成する上での有効性を強調した。
関連論文リスト
- Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。
これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。
既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
論文 参考訳(メタデータ) (2024-05-25T08:23:05Z) - Large Language Models to Generate System-Level Test Programs Targeting Non-functional Properties [3.3305233186101226]
本稿では,テストプログラムを生成するためのLarge Language Models (LLM)を提案する。
我々は、DUTの非機能特性を最適化するために、事前訓練されたLLMがテストプログラム生成でどのように機能するかを、一目で見てみる。
論文 参考訳(メタデータ) (2024-03-15T08:01:02Z) - Selene: Pioneering Automated Proof in Software Verification [62.09555413263788]
実世界の産業レベルのマイクロカーネルであるseL4をベースとした,最初のプロジェクトレベルの自動証明ベンチマークであるSeleneを紹介する。
GPT-3.5-turbo や GPT-4 のような先進的な大規模言語モデル (LLM) による実験結果から, 自動証明生成領域における LLM の機能を強調した。
論文 参考訳(メタデータ) (2024-01-15T13:08:38Z) - End-to-End Test Coverage Metrics in Microservice Systems: An Automated
Approach [2.6245844272542027]
本稿では、マイクロサービスエンドポイントのE2Eテストスイートカバレッジの範囲を評価するためのテストカバレッジメトリクスを紹介する。
次に、これらのメトリクスを計算してE2Eテストスイートの完全性に関するフィードバックを提供する自動化アプローチを提示します。
論文 参考訳(メタデータ) (2023-08-18T02:30:19Z) - Neural Embeddings for Web Testing [49.66745368789056]
既存のクローラは、状態等価性を評価するために、アプリ固有のしきい値ベースのアルゴリズムに依存している。
ニューラルネットワークの埋め込みとしきい値のない分類器に基づく新しい抽象関数WEBEMBEDを提案する。
WEBEMBEDは,9つのWebアプリケーションに対する評価の結果,近距離検出により最先端技術よりも精度が高いことがわかった。
論文 参考訳(メタデータ) (2023-06-12T19:59:36Z) - E-Valuating Classifier Two-Sample Tests [11.248868528186332]
我々のテストは、既存の作業量分割確率比テストと予測独立性テストのアイデアを組み合わせたものです。
得られたE値は、逐次2サンプルテストに適している。
論文 参考訳(メタデータ) (2022-10-24T08:18:36Z) - Listen, Adapt, Better WER: Source-free Single-utterance Test-time
Adaptation for Automatic Speech Recognition [65.84978547406753]
Test-time Adaptationは、ソースドメインでトレーニングされたモデルに適応して、テストサンプルの予測を改善することを目的としている。
単一発話テスト時間適応 (SUTA) は音声領域における最初のTTA研究である。
論文 参考訳(メタデータ) (2022-03-27T06:38:39Z) - Consistent Training and Decoding For End-to-end Speech Recognition Using
Lattice-free MMI [67.13999010060057]
本稿では,LF-MMI基準をE2E ASRフレームワークに統合する新たな手法を提案する。
LF-MMI基準の導入は、一貫して大きなパフォーマンス改善をもたらすことが実験的に示唆されている。
論文 参考訳(メタデータ) (2021-12-05T07:30:17Z) - Guiding Generative Language Models for Data Augmentation in Few-Shot
Text Classification [59.698811329287174]
我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。
実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
論文 参考訳(メタデータ) (2021-11-17T12:10:03Z) - Efficient and Effective Generation of Test Cases for Pedestrian
Detection -- Search-based Software Testing of Baidu Apollo in SVL [14.482670650074885]
本稿では,SVLシミュレータ内での自律走行プラットフォームであるBaidu Apolloの歩行者検出と緊急制動システムの試験について述べる。
本稿では,SVL環境におけるApolloの障害検出シナリオを生成する進化的自動テスト生成手法を提案する。
また,本手法の有効性と有効性を示すため,ベースラインランダム生成手法の結果も報告する。
論文 参考訳(メタデータ) (2021-09-16T13:11:53Z) - On Introducing Automatic Test Case Generation in Practice: A Success
Story and Lessons Learned [7.717446055777458]
本稿では,中規模企業におけるシステムテストスイートの自動生成技術の導入経験について報告する。
自動テストケース生成を導入する際に直面する技術的および組織的障害について説明する。
弊社が開発したテストケースジェネレータ ABT2.0 を紹介します。
論文 参考訳(メタデータ) (2021-02-28T11:31:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。