論文の概要: AI-powered test automation tools: A systematic review and empirical evaluation

• arxiv url: http://arxiv.org/abs/2409.00411v2
• Date: Wed, 26 Feb 2025 09:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 15:24:46.021923
• Title: AI-powered test automation tools: A systematic review and empirical evaluation
• Title（参考訳）: AIを活用したテスト自動化ツール: 体系的レビューと実証的評価
• Authors: Vahid Garousi, Nithin Joy, Alper Buğra Keleş, Sevde Değirmenci, Ece Özdemir, Ryan Zarringhalami,
• Abstract要約: AI駆動のテスト自動化ツールは、ソフトウェア品質を改善し、手動テストの労力を減らす強力な可能性を示している。 将来の研究は、ソフトウェアテストの適応性、信頼性、堅牢性を改善するために、AIモデルを進化させることに焦点を当てるべきである。
• 参考スコア（独自算出の注目度）: 1.0863382547662976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Context: The rise of Artificial Intelligence (AI) in software engineering has led to the development of AI-powered test automation tools, promising improved efficiency, reduced maintenance effort, and enhanced defect-detection. However, a systematic evaluation of these tools is needed to understand their capabilities, benefits, and limitations. Objective: This study has two objectives: (1) A systematic review of AI-assisted test automation tools, categorizing their key AI features; (2) an empirical study of two selected AI-powered tools on two software under test, to investigate the effectiveness and limitations of the tools. Method: A systematic review of 55 AI-based test automation tools was conducted, classifying them based on their AI-assisted capabilities such as self-healing tests, visual testing, and AI-powered test generation. In the second phase, two representative tools were selected for the empirical study, in which we applied them to test two open-source software systems. Their performance was compared with traditional test automation approaches to evaluate efficiency and adaptability. Results: The review provides a comprehensive taxonomy of AI-driven testing tools, highlighting common features and trends. The empirical evaluation demonstrates that AI-powered automation enhances test execution efficiency and reduces maintenance effort but also exposes limitations such as handling complex UI changes and contextual understanding. Conclusion: AI-driven test automation tools show strong potential in improving software quality and reducing manual testing effort. However, their current limitations-such as false positives, lack of domain knowledge, and dependency on predefined models-indicate the need for further refinement. Future research should focus on advancing AI models to improve adaptability, reliability, and robustness in software testing.
• Abstract（参考訳）: コンテキスト: ソフトウェアエンジニアリングにおける人工知能(AI)の台頭は、AIによるテスト自動化ツールの開発に結びつき、効率の向上、メンテナンスの労力の削減、欠陥検出の強化を約束している。 しかし、これらのツールの体系的な評価は、それらの能力、利点、限界を理解するために必要である。 目的: 本研究は,(1)AI支援テスト自動化ツールを体系的にレビューし,その重要なAI特徴を分類すること,(2)テスト中の2つのソフトウェア上で選択された2つのAI駆動ツールについて,ツールの有効性と限界を調査するための実証的研究を行うこと,の2つの目的を有する。 方法: 55のAIベースのテスト自動化ツールを体系的にレビューし、自己修復テスト、ビジュアルテスト、AIによるテスト生成などのAI支援機能に基づいて分類した。 第2フェーズでは、実証研究のために2つの代表的なツールが選択され、2つのオープンソースソフトウェアシステムをテストするためにそれらを適用した。 彼らのパフォーマンスは、効率性と適応性を評価する従来のテスト自動化アプローチと比較された。 結果: レビューはAI駆動テストツールの包括的な分類を提供し、一般的な機能とトレンドを強調している。 実証的な評価は、AIを活用した自動化がテスト実行効率を高め、メンテナンスの労力を削減するだけでなく、複雑なUI変更の処理やコンテキスト理解といった制限を公開することを示している。 結論: AI駆動のテスト自動化ツールは、ソフトウェア品質を改善し、手動テストの労力を減らす強力な可能性を示している。 しかし、それらの現在の制限(偽陽性、ドメイン知識の欠如、事前定義されたモデルへの依存など)は、さらなる改善の必要性を示している。 将来の研究は、ソフトウェアテストの適応性、信頼性、堅牢性を改善するために、AIモデルを進化させることに焦点を当てるべきである。

関連論文リスト

• General Scales Unlock AI Evaluation with Explanatory and Predictive Power [57.7995945974989]
  ベンチマークはAIの進歩を導くものだが、汎用AIシステムには限られた説明力と予測力を提供している。 私たちは、一般的なAIベンチマークが実際に何を計測しているかを説明することができる、AI評価のための一般的な尺度を紹介します。 私たちの完全に自動化された方法論は、飽和しない一般的なスケールにインスタンス要求を配置する18の新しく作られたルーリックの上に構築されます。
  論文  参考訳（メタデータ） (2025-03-09T01:13:56Z)
• Requirements-Driven Automated Software Testing: A Systematic Review [13.67495800498868]
  本研究では,REDAST研究の現状を整理し,今後の方向性について考察する。 この体系的な文献レビュー(SLR)は、要求入力、変換技術、テスト結果、評価方法、既存の制限を分析して、REDASTの展望を探求する。
  論文  参考訳（メタデータ） (2025-02-25T23:13:09Z)
• Interactive Agents to Overcome Ambiguity in Software Engineering [61.40183840499932]
  AIエージェントは、あいまいで不明確なユーザー指示に基づいて、タスクを自動化するためにますますデプロイされている。 不安定な仮定をし、明確な質問をしないことは、最適以下の結果につながる可能性がある。 対話型コード生成設定において,LLMエージェントが不明瞭な命令を処理する能力について,プロプライエタリモデルとオープンウェイトモデルを評価して検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:12:26Z)
• AI-Compass: A Comprehensive and Effective Multi-module Testing Tool for AI Systems [26.605694684145313]
  本研究では,AIシステムを包括的かつ効果的に評価するテストツール,ツールを設計,実装する。 このツールは、敵の堅牢性、モデル解釈可能性、およびニューロン分析を広範囲に評価する。 私たちの研究は、ランドスケープをテストするAIシステムの一般的なソリューションに光を当てています。
  論文  参考訳（メタデータ） (2024-11-09T11:15:17Z)
• Disrupting Test Development with AI Assistants [1.024113475677323]
  GitHub Copilot、ChatGPT、TabnineなどのジェネレーティブAI支援コーディングツールは、ソフトウェア開発を大きく変えた。 本稿では、これらのイノベーションが生産性とソフトウェア開発のメトリクスにどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2024-11-04T17:52:40Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
  日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。 利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
  論文  参考訳（メタデータ） (2024-10-21T22:39:52Z)
• ExACT: Teaching AI Agents to Explore with Reflective-MCTS and Exploratory Learning [78.42927884000673]
  ExACTは、エージェントアプリケーションのためのo1のようなモデルを構築するために、テスト時間検索と自己学習を組み合わせるアプローチである。 リフレクティブモンテカルロ木探索(Reflective Monte Carlo Tree Search, R-MCTS)は、AIエージェントがその場で意思決定空間を探索する能力を高めるために設計された新しいテストタイムアルゴリズムである。 次に,探索学習(Exploratory Learning)という,外部探索アルゴリズムに頼らずに,エージェントに推論時間での探索を教える新しい学習戦略を紹介する。
  論文  参考訳（メタデータ） (2024-10-02T21:42:35Z)
• The Future of Software Testing: AI-Powered Test Case Generation and Validation [0.0]
  本稿では、テストケースの生成と検証を改善する上で、AIが持つ変革の可能性について考察する。 テストプロセスの効率性、正確性、スケーラビリティを高める能力に重点を置いている。 また、高品質なトレーニングデータの必要性など、テストにAIを適用する際の重要な課題にも対処している。
  論文  参考訳（メタデータ） (2024-09-09T17:12:40Z)
• The Role of Artificial Intelligence and Machine Learning in Software Testing [0.14896196009851972]
  人工知能(AI)と機械学習(ML)は様々な産業に大きな影響を与えている。 ソフトウェア開発ライフサイクル(SDLC)の重要な部分であるソフトウェアテストは、ソフトウェア製品の品質と信頼性を保証する。 本稿では、既存の文献をレビューし、現在のツールや技術を分析し、ケーススタディを提示することで、ソフトウェアテストにおけるAIとMLの役割について考察する。
  論文  参考訳（メタデータ） (2024-09-04T13:25:13Z)
• A Multi-Year Grey Literature Review on AI-assisted Test Automation [46.97326049485643]
  テスト自動化(TA)技術は、ソフトウェア工学の品質保証に不可欠である。 TAテクニックは、高いテストスイートのメンテナンスコストや広範なプログラミングスキルの必要性といった制限に直面している。 人工知能(AI)は、自動化と改善されたプラクティスを通じて、これらの問題に対処する新たな機会を提供する。
  論文  参考訳（メタデータ） (2024-08-12T15:26:36Z)
• Towards AI Accountability Infrastructure: Gaps and Opportunities in AI Audit Tooling [1.841662059101602]
  監査は、デプロイされた人工知能(AI)システムのリスクと限界を特定するための重要なメカニズムである。 私たちは利用可能なAI監査ツールの現在のエコシステムをマップします。 我々は、多くのAI監査実践者にとって、ニーズの全範囲を適切にサポートするリソースが不足していると結論付けている。
  論文  参考訳（メタデータ） (2024-02-27T19:52:54Z)
• Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
  この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。 本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
  論文  参考訳（メタデータ） (2024-02-21T08:29:42Z)
• The Foundations of Computational Management: A Systematic Approach to Task Automation for the Integration of Artificial Intelligence into Existing Workflows [55.2480439325792]
  本稿では,タスク自動化の体系的アプローチである計算管理を紹介する。 この記事では、ワークフロー内でAIを実装するプロセスを開始するための、ステップバイステップの手順を3つ紹介する。
  論文  参考訳（メタデータ） (2024-02-07T01:45:14Z)
• From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
  本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。 これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。 我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。