論文の概要: KAT: Dependency-aware Automated API Testing with Large Language Models

• arxiv url: http://arxiv.org/abs/2407.10227v1
• Date: Sun, 14 Jul 2024 14:48:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 18:59:20.322354
• Title: KAT: Dependency-aware Automated API Testing with Large Language Models
• Title（参考訳）: KAT: 大規模言語モデルによる依存性を意識したAPIテスト
• Authors: Tri Le, Thien Tran, Duy Cao, Vy Le, Tien Nguyen, Vu Nguyen,
• Abstract要約: KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
• 参考スコア（独自算出の注目度）: 1.7264233311359707
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: API testing has increasing demands for software companies. Prior API testing tools were aware of certain types of dependencies that needed to be concise between operations and parameters. However, their approaches, which are mostly done manually or using heuristic-based algorithms, have limitations due to the complexity of these dependencies. In this paper, we present KAT (Katalon API Testing), a novel AI-driven approach that leverages the large language model GPT in conjunction with advanced prompting techniques to autonomously generate test cases to validate RESTful APIs. Our comprehensive strategy encompasses various processes to construct an operation dependency graph from an OpenAPI specification and to generate test scripts, constraint validation scripts, test cases, and test data. Our evaluation of KAT using 12 real-world RESTful services shows that it can improve test coverage, detect more undocumented status codes, and reduce false positives in these services in comparison with a state-of-the-art automated test generation tool. These results indicate the effectiveness of using the large language model for generating test scripts and data for API testing.
• Abstract（参考訳）: APIテストは、ソフトウェア企業に対する需要が増えている。 以前のAPIテストツールは、操作とパラメータを簡潔にする必要がある依存関係の種類を認識していた。 しかし、主に手動やヒューリスティックベースのアルゴリズムを使って行われるアプローチは、これらの依存関係の複雑さのために制限がある。 本稿では,KAT(Katalon API Testing)について紹介する。これは,大規模言語モデルGPTと,テストケースを自律的に生成してRESTful APIを検証する高度なプロンプト技術を組み合わせた,新たなAI駆動型アプローチである。 我々の包括的な戦略は、OpenAPI仕様からオペレーション依存グラフを構築し、テストスクリプト、制約検証スクリプト、テストケース、テストデータを生成する様々なプロセスを含みます。 12の実際のRESTfulサービスを用いたKATの評価は、テストカバレッジを改善し、文書化されていないステータスコードを検出し、最先端の自動テスト生成ツールと比較して、これらのサービスの偽陽性を低減できることを示している。 これらの結果から,大規模な言語モデルを用いたテストスクリプトとデータ生成の有効性が示唆された。

関連論文リスト

• Utilizing API Response for Test Refinement [2.8002188463519944]
  本稿では,応答メッセージを利用した動的テスト改善手法を提案する。 インテリジェントエージェントを使用すると、テストシナリオを生成するためにさらに使用されるAPI仕様に制約が追加される。 提案されたアプローチは、4xxレスポンスの数を減少させ、より現実的なテストケースを生成するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2025-01-30T05:26:32Z)
• AutoRestTest: A Tool for Automated REST API Testing Using LLMs and MARL [46.65963514391019]
  AutoRestTestは、REST APIをテストするための新しいツールだ。 セマンティック操作依存グラフ(SODG)とマルチエージェント強化学習(MARL)と大規模言語モデル(LLM)を統合している。 オペレーションカウントの成功、ユニークなサーバエラーの検出、時間経過に関する継続的なテレメトリを提供する。
  論文  参考訳（メタデータ） (2025-01-15T05:54:33Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのカスタムLCMを使って現実的なテストインプットを生成する新しいアプローチである。 LlamaRestTestは、RESTGPTで強化された仕様でさえ、コードカバレッジとエラー検出において最先端のツールを上回っている。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• Commit0: Library Generation from Scratch [77.38414688148006]
  Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。 エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。 Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
  論文  参考訳（メタデータ） (2024-12-02T18:11:30Z)
• A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
  私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。 このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。 12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
  論文  参考訳（メタデータ） (2024-11-11T16:20:27Z)
• APITestGenie: Automated API Test Generation through Generative AI [2.0716352593701277]
  APITestGenieはビジネス要件とAPI仕様から実行可能なAPIテストスクリプトを生成する。 10の現実世界のAPIを使った実験では、ツールが有効なテストスクリプトを57%生成した。 人間の介入は、CI/CDパイプラインに統合される前に生成されたスクリプトを検証または洗練するために推奨される。
  論文  参考訳（メタデータ） (2024-09-05T18:02:41Z)
• DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
  本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。 深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。 実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-16T08:03:55Z)
• COTS: Connected OpenAPI Test Synthesis for RESTful Applications [0.0]
  OpenAPI仕様のための(i)ドメイン固有言語を導入し、(ii)方法論をサポートするツールを導入します。 私たちのツールはCOTSと呼ばれ、(ランダムに)モデルベースのテスト実行を生成し、ソフトウェア欠陥を報告します。
  論文  参考訳（メタデータ） (2024-04-30T15:12:31Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。