論文の概要: KAT: Dependency-aware Automated API Testing with Large Language Models
- arxiv url: http://arxiv.org/abs/2407.10227v1
- Date: Sun, 14 Jul 2024 14:48:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 18:59:20.322354
- Title: KAT: Dependency-aware Automated API Testing with Large Language Models
- Title(参考訳): KAT: 大規模言語モデルによる依存性を意識したAPIテスト
- Authors: Tri Le, Thien Tran, Duy Cao, Vy Le, Tien Nguyen, Vu Nguyen,
- Abstract要約: KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。
実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
- 参考スコア(独自算出の注目度): 1.7264233311359707
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: API testing has increasing demands for software companies. Prior API testing tools were aware of certain types of dependencies that needed to be concise between operations and parameters. However, their approaches, which are mostly done manually or using heuristic-based algorithms, have limitations due to the complexity of these dependencies. In this paper, we present KAT (Katalon API Testing), a novel AI-driven approach that leverages the large language model GPT in conjunction with advanced prompting techniques to autonomously generate test cases to validate RESTful APIs. Our comprehensive strategy encompasses various processes to construct an operation dependency graph from an OpenAPI specification and to generate test scripts, constraint validation scripts, test cases, and test data. Our evaluation of KAT using 12 real-world RESTful services shows that it can improve test coverage, detect more undocumented status codes, and reduce false positives in these services in comparison with a state-of-the-art automated test generation tool. These results indicate the effectiveness of using the large language model for generating test scripts and data for API testing.
- Abstract(参考訳): APIテストは、ソフトウェア企業に対する需要が増えている。
以前のAPIテストツールは、操作とパラメータを簡潔にする必要がある依存関係の種類を認識していた。
しかし、主に手動やヒューリスティックベースのアルゴリズムを使って行われるアプローチは、これらの依存関係の複雑さのために制限がある。
本稿では,KAT(Katalon API Testing)について紹介する。これは,大規模言語モデルGPTと,テストケースを自律的に生成してRESTful APIを検証する高度なプロンプト技術を組み合わせた,新たなAI駆動型アプローチである。
我々の包括的な戦略は、OpenAPI仕様からオペレーション依存グラフを構築し、テストスクリプト、制約検証スクリプト、テストケース、テストデータを生成する様々なプロセスを含みます。
12の実際のRESTfulサービスを用いたKATの評価は、テストカバレッジを改善し、文書化されていないステータスコードを検出し、最先端の自動テスト生成ツールと比較して、これらのサービスの偽陽性を低減できることを示している。
これらの結果から,大規模な言語モデルを用いたテストスクリプトとデータ生成の有効性が示唆された。
関連論文リスト
- FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。
既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。
本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
論文 参考訳(メタデータ) (2024-07-18T23:44:02Z) - COTS: Connected OpenAPI Test Synthesis for RESTful Applications [0.0]
OpenAPI仕様のための(i)ドメイン固有言語を導入し、(ii)方法論をサポートするツールを導入します。
私たちのツールはCOTSと呼ばれ、(ランダムに)モデルベースのテスト実行を生成し、ソフトウェア欠陥を報告します。
論文 参考訳(メタデータ) (2024-04-30T15:12:31Z) - Automating REST API Postman Test Cases Using LLM [0.0]
本稿では,大規模言語モデルを用いたテストケースの自動生成手法の探索と実装について述べる。
この方法論は、テストケース生成の効率性と有効性を高めるために、Open AIの使用を統合する。
この研究で開発されたモデルは、手作業で収集したポストマンテストケースやさまざまなRest APIのインスタンスを使ってトレーニングされている。
論文 参考訳(メタデータ) (2024-04-16T15:53:41Z) - GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。
GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。
クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
論文 参考訳(メタデータ) (2024-02-23T10:02:01Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳(メタデータ) (2023-12-01T19:53:23Z) - Extended Paper: API-driven Program Synthesis for Testing Static Typing
Implementations [11.300829269111627]
本稿では,API駆動型プログラム合成の概念に基づいて静的型付けの実装をテストする新しい手法を提案する。
このアイデアは、既存のソフトウェアライブラリから派生したアプリケーションプログラミングインタフェース(API)を活用して組み合わせることで、型集約型だが小さく、十分に型付けされたプログラムを合成することである。
論文 参考訳(メタデータ) (2023-11-08T08:32:40Z) - Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。
現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。
我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
論文 参考訳(メタデータ) (2023-09-08T20:27:05Z) - Cheaply Evaluating Inference Efficiency Metrics for Autoregressive
Transformer APIs [66.30706841821123]
大規模言語モデル(LLM)は、自然言語処理において多くの最先端システムに電力を供給する。
LLMは、推論時でさえ非常に計算コストが高い。
モデル間での推論効率を比較するための新しい指標を提案する。
論文 参考訳(メタデータ) (2023-05-03T21:51:42Z) - Nirikshak: A Clustering Based Autonomous API Testing Framework [0.0]
Nirikshakは、REST APIテストのための自立テストフレームワークである。
REST APIテスト手順の実行において、レベル2の自律性を達成する。
Nirikshakはコミュニティ向けのオープンソースソフトウェアとしてhttps://github.com/yashmahalwal/nirikshakで公開されている。
論文 参考訳(メタデータ) (2021-12-15T18:05:27Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。