論文の概要: AI-powered test automation tools: A systematic review and empirical evaluation
- arxiv url: http://arxiv.org/abs/2409.00411v1
- Date: Sat, 31 Aug 2024 10:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 14:49:38.634097
- Title: AI-powered test automation tools: A systematic review and empirical evaluation
- Title（参考訳）: AIを活用したテスト自動化ツール: 体系的レビューと実証的評価
- Authors: Vahid Garousi, Nithin Joy, Alper Buğra Keleş,
- Abstract要約: 既存のAIベースのテスト自動化ツールが提供する機能について検討する。
私たちは、AI機能がテストの有効性と効率にどのように役立つかを実証的に評価します。
AIベースのテストツールにおけるAI機能の制限についても検討する。
- 参考スコア（独自算出の注目度）: 1.3490988186255937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: Test engineers are looking at more ways to test systems more effectively and efficiently. With recent advances in the field of AI (Artificial Intelligence), a large number of AI-powered test automation tools have emerged, which can help make testing more effective and efficient. Objective: We investigate the features provided by existing AI-based test automation tools. We also empirically evaluate the performance of two AI-based testing tools by applying them on two selected open-source Software Under Test (SUT). We empirically evaluate how the AI features can be helpful for effectiveness and efficiency of testing. We also study the limitations of the AI features in AI-based test tools. Method: To accomplish the objective, a Multivocal Literature Review (MLR) study was conducted to investigate the landscape of the AI-based test automation tools in the industry. Moreover, an empirical assessment is also conducted to empirically analyze two AI-based test automation tools by using it on two open-source projects. To determine the need of AI for selected feature, the same feature was created without the use of ML to explore its limitations which can be avoided using AI. Results: Our results are based on 55 AI-based test automation tools. Furthermore, an empirical assessment was performed by selecting two of the 55 tools analyzed as part of the MLR. Conclusion: This paper explores the potential benefits and limitations of AI-based test automation tools. The limitations explored can be used as inspiration to develop better AI-based test tools.
- Abstract（参考訳）: コンテキスト: テストエンジニアはシステムをより効果的かつ効率的にテストする方法を模索しています。
AI(Artificial Intelligence)の分野での最近の進歩により、多数のAIを使ったテスト自動化ツールが登場し、テストをより効率的かつ効率的にするのに役立つ。
目的: 既存のAIベースのテスト自動化ツールが提供する機能について検討する。
また,2つのオープンソースソフトウェアアンダーテスト(SUT)に適用することにより,AIベースの2つのテストツールの性能を実証的に評価する。
私たちは、AI機能がテストの有効性と効率にどのように役立つかを実証的に評価します。
AIベースのテストツールにおけるAI機能の制限についても検討する。
方法: この目的を達成するため, 産業におけるAIベースのテスト自動化ツールの展望を調査するため, MLR(Multivocal Literature Review)研究を行った。
さらに、AIベースのテスト自動化ツールを2つのオープンソースプロジェクトで使用することにより、2つのAIベースのテスト自動化ツールを経験的に分析する実験的な評価も実施されている。
選択された機能に対するAIの必要性を決定するため、同じ機能がMLを使わずに作成され、AIを使用して回避できる制限を探索した。
結果: 結果は、55のAIベースのテスト自動化ツールに基づいています。
さらに,MLRの一部として分析した55のツールのうち2つを選択し,経験的評価を行った。
結論: 本稿では,AIベースのテスト自動化ツールの潜在的なメリットと限界について検討する。
探索された制限は、より良いAIベースのテストツールを開発するためのインスピレーションとして使用できる。
関連論文リスト
- AI-Compass: A Comprehensive and Effective Multi-module Testing Tool for AI Systems [26.605694684145313]
本研究では,AIシステムを包括的かつ効果的に評価するテストツール,ツールを設計,実装する。
このツールは、敵の堅牢性、モデル解釈可能性、およびニューロン分析を広範囲に評価する。
私たちの研究は、ランドスケープをテストするAIシステムの一般的なソリューションに光を当てています。
論文 参考訳（メタデータ） (2024-11-09T11:15:17Z) - Disrupting Test Development with AI Assistants [1.024113475677323]
GitHub Copilot、ChatGPT、TabnineなどのジェネレーティブAI支援コーディングツールは、ソフトウェア開発を大きく変えた。
本稿では、これらのイノベーションが生産性とソフトウェア開発のメトリクスにどのように影響するかを分析する。
論文 参考訳（メタデータ） (2024-11-04T17:52:40Z) - AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。
以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文 参考訳（メタデータ） (2024-11-02T13:24:30Z) - Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。
利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
論文 参考訳（メタデータ） (2024-10-21T22:39:52Z) - ExACT: Teaching AI Agents to Explore with Reflective-MCTS and Exploratory Learning [78.42927884000673]
ExACTは、エージェントアプリケーションのためのo1のようなモデルを構築するために、テスト時間検索と自己学習を組み合わせるアプローチである。
リフレクティブモンテカルロ木探索(Reflective Monte Carlo Tree Search, R-MCTS)は、AIエージェントがその場で意思決定空間を探索する能力を高めるために設計された新しいテストタイムアルゴリズムである。
次に,探索学習(Exploratory Learning)という,外部探索アルゴリズムに頼らずに,エージェントに推論時間での探索を教える新しい学習戦略を紹介する。
論文 参考訳（メタデータ） (2024-10-02T21:42:35Z) - The Role of Artificial Intelligence and Machine Learning in Software Testing [0.14896196009851972]
人工知能(AI)と機械学習(ML)は様々な産業に大きな影響を与えている。
ソフトウェア開発ライフサイクル(SDLC)の重要な部分であるソフトウェアテストは、ソフトウェア製品の品質と信頼性を保証する。
本稿では、既存の文献をレビューし、現在のツールや技術を分析し、ケーススタディを提示することで、ソフトウェアテストにおけるAIとMLの役割について考察する。
論文 参考訳（メタデータ） (2024-09-04T13:25:13Z) - A Multi-Year Grey Literature Review on AI-assisted Test Automation [46.97326049485643]
テスト自動化(TA)技術は、ソフトウェア工学の品質保証に不可欠である。
TAテクニックは、高いテストスイートのメンテナンスコストや広範なプログラミングスキルの必要性といった制限に直面している。
人工知能(AI)は、自動化と改善されたプラクティスを通じて、これらの問題に対処する新たな機会を提供する。
論文 参考訳（メタデータ） (2024-08-12T15:26:36Z) - Towards AI Accountability Infrastructure: Gaps and Opportunities in AI Audit Tooling [1.841662059101602]
監査は、デプロイされた人工知能(AI)システムのリスクと限界を特定するための重要なメカニズムである。
私たちは利用可能なAI監査ツールの現在のエコシステムをマップします。
我々は、多くのAI監査実践者にとって、ニーズの全範囲を適切にサポートするリソースが不足していると結論付けている。
論文 参考訳（メタデータ） (2024-02-27T19:52:54Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳（メタデータ） (2024-02-21T08:29:42Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳（メタデータ） (2022-12-08T23:23:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。