論文の概要: AI-powered test automation tools: A systematic review and empirical evaluation
- arxiv url: http://arxiv.org/abs/2409.00411v1
- Date: Sat, 31 Aug 2024 10:10:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 14:49:38.634097
- Title: AI-powered test automation tools: A systematic review and empirical evaluation
- Title(参考訳): AIを活用したテスト自動化ツール: 体系的レビューと実証的評価
- Authors: Vahid Garousi, Nithin Joy, Alper Buğra Keleş,
- Abstract要約: 既存のAIベースのテスト自動化ツールが提供する機能について検討する。
私たちは、AI機能がテストの有効性と効率にどのように役立つかを実証的に評価します。
AIベースのテストツールにおけるAI機能の制限についても検討する。
- 参考スコア(独自算出の注目度): 1.3490988186255937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Context: Test engineers are looking at more ways to test systems more effectively and efficiently. With recent advances in the field of AI (Artificial Intelligence), a large number of AI-powered test automation tools have emerged, which can help make testing more effective and efficient. Objective: We investigate the features provided by existing AI-based test automation tools. We also empirically evaluate the performance of two AI-based testing tools by applying them on two selected open-source Software Under Test (SUT). We empirically evaluate how the AI features can be helpful for effectiveness and efficiency of testing. We also study the limitations of the AI features in AI-based test tools. Method: To accomplish the objective, a Multivocal Literature Review (MLR) study was conducted to investigate the landscape of the AI-based test automation tools in the industry. Moreover, an empirical assessment is also conducted to empirically analyze two AI-based test automation tools by using it on two open-source projects. To determine the need of AI for selected feature, the same feature was created without the use of ML to explore its limitations which can be avoided using AI. Results: Our results are based on 55 AI-based test automation tools. Furthermore, an empirical assessment was performed by selecting two of the 55 tools analyzed as part of the MLR. Conclusion: This paper explores the potential benefits and limitations of AI-based test automation tools. The limitations explored can be used as inspiration to develop better AI-based test tools.
- Abstract(参考訳): コンテキスト: テストエンジニアはシステムをより効果的かつ効率的にテストする方法を模索しています。
AI(Artificial Intelligence)の分野での最近の進歩により、多数のAIを使ったテスト自動化ツールが登場し、テストをより効率的かつ効率的にするのに役立つ。
目的: 既存のAIベースのテスト自動化ツールが提供する機能について検討する。
また,2つのオープンソースソフトウェアアンダーテスト(SUT)に適用することにより,AIベースの2つのテストツールの性能を実証的に評価する。
私たちは、AI機能がテストの有効性と効率にどのように役立つかを実証的に評価します。
AIベースのテストツールにおけるAI機能の制限についても検討する。
方法: この目的を達成するため, 産業におけるAIベースのテスト自動化ツールの展望を調査するため, MLR(Multivocal Literature Review)研究を行った。
さらに、AIベースのテスト自動化ツールを2つのオープンソースプロジェクトで使用することにより、2つのAIベースのテスト自動化ツールを経験的に分析する実験的な評価も実施されている。
選択された機能に対するAIの必要性を決定するため、同じ機能がMLを使わずに作成され、AIを使用して回避できる制限を探索した。
結果: 結果は、55のAIベースのテスト自動化ツールに基づいています。
さらに,MLRの一部として分析した55のツールのうち2つを選択し,経験的評価を行った。
結論: 本稿では,AIベースのテスト自動化ツールの潜在的なメリットと限界について検討する。
探索された制限は、より良いAIベースのテストツールを開発するためのインスピレーションとして使用できる。
関連論文リスト
- A-Bench: Are LMMs Masters at Evaluating AI-generated Images? [78.3699767628502]
A-Benchは、マルチモーダルモデル(LMM)がAI生成画像(AIGI)を評価するマスターであるかどうかを診断するために設計されたベンチマークである。
最終的に、16のテキスト・ツー・イメージモデルの2,864のAIGIがサンプリングされ、それぞれが人間の専門家によって注釈付けされた質問回答と組み合わせられ、18のLMMでテストされる。
論文 参考訳(メタデータ) (2024-06-05T08:55:02Z) - Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants' API Invocation Capabilities [48.922660354417204]
人間の関与なしにアシスタントのAPIコール能力を評価するために,自動動的評価(Automated Dynamic Evaluation, AutoDE)を提案する。
この枠組みでは,人間と機械の相互作用において,真の人間の会話パターンを忠実に反映するように努力する。
論文 参考訳(メタデータ) (2024-03-17T07:34:12Z) - Towards AI Accountability Infrastructure: Gaps and Opportunities in AI Audit Tooling [1.841662059101602]
監査は、デプロイされた人工知能(AI)システムのリスクと限界を特定するための重要なメカニズムである。
私たちは利用可能なAI監査ツールの現在のエコシステムをマップします。
我々は、多くのAI監査実践者にとって、ニーズの全範囲を適切にサポートするリソースが不足していると結論付けている。
論文 参考訳(メタデータ) (2024-02-27T19:52:54Z) - Testing autonomous vehicles and AI: perspectives and challenges from cybersecurity, transparency, robustness and fairness [53.91018508439669]
この研究は、人工知能を自律走行車(AV)に統合する複雑さを探求する
AIコンポーネントがもたらした課題と、テスト手順への影響を調べます。
本稿は、重要な課題を特定し、AV技術におけるAIの研究・開発に向けた今後の方向性を提案する。
論文 参考訳(メタデータ) (2024-02-21T08:29:42Z) - A Preliminary Study on Using Large Language Models in Software
Pentesting [2.0551676463612636]
大規模言語モデル(LLM)は、セキュリティタスクを自動化するための有望な可能性を提供すると考えられている。
ソフトウェアペンテスティングにおけるLLMの使用について検討し,ソースコード中のソフトウェアセキュリティ脆弱性を自動的に識別する作業を行う。
論文 参考訳(メタデータ) (2024-01-30T21:42:59Z) - Getting pwn'd by AI: Penetration Testing with Large Language Models [0.0]
本稿では,GPT3.5のような大規模言語モデルによるAIスパーリングパートナーによる浸透テストの強化の可能性について検討する。
セキュリティテストの課題のためのハイレベルなタスクプランニングと、脆弱な仮想マシン内での低レベルな脆弱性ハンティングである。
論文 参考訳(メタデータ) (2023-07-24T19:59:22Z) - The Role of AI in Drug Discovery: Challenges, Opportunities, and
Strategies [97.5153823429076]
この分野でのAIのメリット、課題、欠点についてレビューする。
データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
論文 参考訳(メタデータ) (2022-12-08T23:23:39Z) - ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。
自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
論文 参考訳(メタデータ) (2022-07-27T07:46:23Z) - Enabling Automated Machine Learning for Model-Driven AI Engineering [60.09869520679979]
モデル駆動型ソフトウェアエンジニアリングとモデル駆動型AIエンジニアリングを実現するための新しいアプローチを提案する。
特に、私たちはAutomated MLをサポートし、AI集約システムの開発において、AIの深い知識のないソフトウェアエンジニアを支援します。
論文 参考訳(メタデータ) (2022-03-06T10:12:56Z) - Artificial Intelligence in Software Testing : Impact, Problems,
Challenges and Prospect [0.0]
この研究は、テストにAIを適用しながら、ソフトウェアテスタが直面する最も大きな課題を認識し、説明することを目的としている。
この記事では、ソフトウェアテストの分野におけるAIの今後の重要な貢献についても提案する。
論文 参考訳(メタデータ) (2022-01-14T10:21:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。