論文の概要: AI-powered test automation tools: A systematic review and empirical evaluation

• arxiv url: http://arxiv.org/abs/2409.00411v2
• Date: Wed, 26 Feb 2025 09:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:54:13.566606
• Title: AI-powered test automation tools: A systematic review and empirical evaluation
• Title（参考訳）: AIを活用したテスト自動化ツール: 体系的レビューと実証的評価
• Authors: Vahid Garousi, Nithin Joy, Alper Buğra Keleş, Sevde Değirmenci, Ece Özdemir, Ryan Zarringhalami,
• Abstract要約: AI駆動のテスト自動化ツールは、ソフトウェア品質を改善し、手動テストの労力を減らす強力な可能性を示している。 将来の研究は、ソフトウェアテストの適応性、信頼性、堅牢性を改善するために、AIモデルを進化させることに焦点を当てるべきである。
• 参考スコア（独自算出の注目度）: 1.0863382547662976
• License:
• Abstract: Context: The rise of Artificial Intelligence (AI) in software engineering has led to the development of AI-powered test automation tools, promising improved efficiency, reduced maintenance effort, and enhanced defect-detection. However, a systematic evaluation of these tools is needed to understand their capabilities, benefits, and limitations. Objective: This study has two objectives: (1) A systematic review of AI-assisted test automation tools, categorizing their key AI features; (2) an empirical study of two selected AI-powered tools on two software under test, to investigate the effectiveness and limitations of the tools. Method: A systematic review of 55 AI-based test automation tools was conducted, classifying them based on their AI-assisted capabilities such as self-healing tests, visual testing, and AI-powered test generation. In the second phase, two representative tools were selected for the empirical study, in which we applied them to test two open-source software systems. Their performance was compared with traditional test automation approaches to evaluate efficiency and adaptability. Results: The review provides a comprehensive taxonomy of AI-driven testing tools, highlighting common features and trends. The empirical evaluation demonstrates that AI-powered automation enhances test execution efficiency and reduces maintenance effort but also exposes limitations such as handling complex UI changes and contextual understanding. Conclusion: AI-driven test automation tools show strong potential in improving software quality and reducing manual testing effort. However, their current limitations-such as false positives, lack of domain knowledge, and dependency on predefined models-indicate the need for further refinement. Future research should focus on advancing AI models to improve adaptability, reliability, and robustness in software testing.
• Abstract（参考訳）: コンテキスト: ソフトウェアエンジニアリングにおける人工知能(AI)の台頭は、AIによるテスト自動化ツールの開発に結びつき、効率の向上、メンテナンスの労力の削減、欠陥検出の強化を約束している。 しかし、これらのツールの体系的な評価は、それらの能力、利点、限界を理解するために必要である。 目的: 本研究は,(1)AI支援テスト自動化ツールを体系的にレビューし,その重要なAI特徴を分類すること,(2)テスト中の2つのソフトウェア上で選択された2つのAI駆動ツールについて,ツールの有効性と限界を調査するための実証的研究を行うこと,の2つの目的を有する。 方法: 55のAIベースのテスト自動化ツールを体系的にレビューし、自己修復テスト、ビジュアルテスト、AIによるテスト生成などのAI支援機能に基づいて分類した。 第2フェーズでは、実証研究のために2つの代表的なツールが選択され、2つのオープンソースソフトウェアシステムをテストするためにそれらを適用した。 彼らのパフォーマンスは、効率性と適応性を評価する従来のテスト自動化アプローチと比較された。 結果: レビューはAI駆動テストツールの包括的な分類を提供し、一般的な機能とトレンドを強調している。 実証的な評価は、AIを活用した自動化がテスト実行効率を高め、メンテナンスの労力を削減するだけでなく、複雑なUI変更の処理やコンテキスト理解といった制限を公開することを示している。 結論: AI駆動のテスト自動化ツールは、ソフトウェア品質を改善し、手動テストの労力を減らす強力な可能性を示している。 しかし、それらの現在の制限(偽陽性、ドメイン知識の欠如、事前定義されたモデルへの依存など)は、さらなる改善の必要性を示している。 将来の研究は、ソフトウェアテストの適応性、信頼性、堅牢性を改善するために、AIモデルを進化させることに焦点を当てるべきである。

関連論文リスト

• Generative Artificial Intelligence-Supported Pentesting: A Comparison between Claude Opus, GPT-4, and Copilot [44.99833362998488]
  GenAIは多くの分野に適用でき、特にサイバーセキュリティに関連がある。 本稿では,ジェネリック汎用のGenAIツールの可能性について分析した。 Opus, GPT-4 from ChatGPT, and Copilot-in augmenting the peretration testing process as defined by the Peretration Testing Execution Standard (PTES)
  論文  参考訳（メタデータ） (2025-01-12T22:48:37Z)
• AI-Compass: A Comprehensive and Effective Multi-module Testing Tool for AI Systems [26.605694684145313]
  本研究では,AIシステムを包括的かつ効果的に評価するテストツール,ツールを設計,実装する。 このツールは、敵の堅牢性、モデル解釈可能性、およびニューロン分析を広範囲に評価する。 私たちの研究は、ランドスケープをテストするAIシステムの一般的なソリューションに光を当てています。
  論文  参考訳（メタデータ） (2024-11-09T11:15:17Z)
• Disrupting Test Development with AI Assistants [1.024113475677323]
  GitHub Copilot、ChatGPT、TabnineなどのジェネレーティブAI支援コーディングツールは、ソフトウェア開発を大きく変えた。 本稿では、これらのイノベーションが生産性とソフトウェア開発のメトリクスにどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2024-11-04T17:52:40Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• ExACT: Teaching AI Agents to Explore with Reflective-MCTS and Exploratory Learning [78.42927884000673]
  ExACTは、エージェントアプリケーションのためのo1のようなモデルを構築するために、テスト時間検索と自己学習を組み合わせるアプローチである。 リフレクティブモンテカルロ木探索(Reflective Monte Carlo Tree Search, R-MCTS)は、AIエージェントがその場で意思決定空間を探索する能力を高めるために設計された新しいテストタイムアルゴリズムである。 次に,探索学習(Exploratory Learning)という,外部探索アルゴリズムに頼らずに,エージェントに推論時間での探索を教える新しい学習戦略を紹介する。
  論文  参考訳（メタデータ） (2024-10-02T21:42:35Z)
• The Role of Artificial Intelligence and Machine Learning in Software Testing [0.14896196009851972]
  人工知能(AI)と機械学習(ML)は様々な産業に大きな影響を与えている。 ソフトウェア開発ライフサイクル(SDLC)の重要な部分であるソフトウェアテストは、ソフトウェア製品の品質と信頼性を保証する。 本稿では、既存の文献をレビューし、現在のツールや技術を分析し、ケーススタディを提示することで、ソフトウェアテストにおけるAIとMLの役割について考察する。
  論文  参考訳（メタデータ） (2024-09-04T13:25:13Z)
• A Multi-Year Grey Literature Review on AI-assisted Test Automation [46.97326049485643]
  テスト自動化(TA)技術は、ソフトウェアエンジニアリングの品質保証には不可欠だが、制限に直面している。 業界でAIが広く使われていることを考えると、真実の情報源はグレー文学だけでなく、専門家の心にも当てはまる。 この研究は、グレーの文献を調査し、AIがTAでどのように採用されているかを調査し、解決する問題、そのソリューション、利用可能なツールに焦点を当てる。
  論文  参考訳（メタデータ） (2024-08-12T15:26:36Z)
• Towards AI Accountability Infrastructure: Gaps and Opportunities in AI Audit Tooling [1.841662059101602]
  監査は、デプロイされた人工知能(AI)システムのリスクと限界を特定するための重要なメカニズムである。 私たちは利用可能なAI監査ツールの現在のエコシステムをマップします。 我々は、多くのAI監査実践者にとって、ニーズの全範囲を適切にサポートするリソースが不足していると結論付けている。
  論文  参考訳（メタデータ） (2024-02-27T19:52:54Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。