論文の概要: Utilizing API Response for Test Refinement
- arxiv url: http://arxiv.org/abs/2501.18145v1
- Date: Thu, 30 Jan 2025 05:26:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:12:36.747585
- Title: Utilizing API Response for Test Refinement
- Title（参考訳）: テストリファインメントのためのAPIレスポンスの利用
- Authors: Devika Sondhi, Ananya Sharma, Diptikalyan Saha,
- Abstract要約: 本稿では,応答メッセージを利用した動的テスト改善手法を提案する。
インテリジェントエージェントを使用すると、テストシナリオを生成するためにさらに使用されるAPI仕様に制約が追加される。
提案されたアプローチは、4xxレスポンスの数を減少させ、より現実的なテストケースを生成するための一歩を踏み出した。
- 参考スコア（独自算出の注目度）: 2.8002188463519944
- License:
- Abstract: Most of the web services are offered in the form of RESTful APIs. This has led to an active research interest in API testing to ensure the reliability of these services. While most of the testing techniques proposed in the past rely on the API specification to generate the test cases, a major limitation of such an approach is that in the case of an incomplete or inconsistent specification, the test cases may not be realistic in nature and would result in a lot of 4xx response due to invalid input. This is indicative of poor test quality. Learning-based approaches may learn about valid inputs but often require a large number of request-response pairs to learn the constraints, making it infeasible to be readily used in the industry. To address this limitation, this paper proposes a dynamic test refinement approach that leverages the response message. The response is used to infer the point in the API testing flow where a test scenario fix is required. Using an intelligent agent, the approach adds constraints to the API specification that are further used to generate a test scenario accounting for the learned constraint from the response. Following a greedy approach, the iterative learning and refinement of test scenarios are obtained from the API testing system. The proposed approach led to a decrease in the number of 4xx responses, taking a step closer to generating more realistic test cases with high coverage that would aid in functional testing. A high coverage was obtained from a lesser number of API requests, as compared with the state-of-the-art search-based API Testing tools.
- Abstract（参考訳）: ほとんどのWebサービスはRESTful APIの形で提供されています。
これにより、これらのサービスの信頼性を確保するために、APIテストに積極的な研究関心がもたらされた。
過去に提案されたテスト技術のほとんどはAPI仕様に頼ってテストケースを生成するが、そのようなアプローチの大きな制限は、不完全あるいは一貫性のない仕様の場合、テストケースは本質的には現実的ではなく、無効な入力のために多くの4xxレスポンスをもたらす可能性があることである。
これはテスト品質の低下を表している。
学習ベースのアプローチは、有効なインプットについて学ぶことができるが、制約を学ぶために多くのリクエスト-レスポンスペアを必要とすることが多いため、業界で簡単に利用できない。
本稿では,この制限に対処するため,応答メッセージを利用した動的テスト改善手法を提案する。
レスポンスは、テストシナリオの修正が必要なAPIテストフローのポイントを推論するために使用される。
インテリジェントエージェントを使用することで、このアプローチは、学習した制約をレスポンスから説明するためのテストシナリオを生成するためにさらに使用されるAPI仕様に制約を追加する。
欲張りのアプローチに従うと、APIテストシステムから反復的な学習とテストシナリオの洗練が得られます。
提案されたアプローチは、4xxレスポンスの数を減少させ、機能テストに役立つ高いカバレッジを持つより現実的なテストケースを生成するための一歩を踏み出した。
最先端の検索ベースのAPIテスティングツールと比較して、より少ない数のAPIリクエストから高いカバレッジが得られた。
関連論文リスト
- AutoRestTest: A Tool for Automated REST API Testing Using LLMs and MARL [46.65963514391019]
AutoRestTestは、REST APIをテストするための新しいツールだ。
セマンティック操作依存グラフ(SODG)とマルチエージェント強化学習(MARL)と大規模言語モデル(LLM)を統合している。
オペレーションカウントの成功、ユニークなサーバエラーの検出、時間経過に関する継続的なテレメトリを提供する。
論文 参考訳（メタデータ） (2025-01-15T05:54:33Z) - LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
LlamaRestTestは、2つのカスタムLCMを使って現実的なテストインプットを生成する新しいアプローチである。
LlamaRestTestは、RESTGPTで強化された仕様でさえ、コードカバレッジとエラー検出において最先端のツールを上回っている。
論文 参考訳（メタデータ） (2025-01-15T05:51:20Z) - APIRL: Deep Reinforcement Learning for REST API Fuzzing [3.053989095162017]
APIRLは、REST APIをテストするための、完全に自動化された深層強化学習ツールである。
APIRLは、現実世界のREST APIの最先端よりも、はるかに多くのバグを見つけることができます。
論文 参考訳（メタデータ） (2024-12-20T15:40:51Z) - A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。
このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。
12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
論文 参考訳（メタデータ） (2024-11-11T16:20:27Z) - Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
2サンプルテスト問題であるモデル品質テストのような歪みの検出を形式化する。
単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
次に、このテストを4つのLlamaモデルの商用推論APIに適用し、31のエンドポイントのうち11がMetaがリリースしたリファレンスウェイトとは異なる分布を提供することがわかった。
論文 参考訳（メタデータ） (2024-10-26T18:34:53Z) - DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。
深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。
実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
論文 参考訳（メタデータ） (2024-08-16T08:03:55Z) - KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。
実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
論文 参考訳（メタデータ） (2024-07-14T14:48:18Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳（メタデータ） (2023-12-01T19:53:23Z) - Exploring Behaviours of RESTful APIs in an Industrial Setting [0.43012765978447565]
これらのAPIが示す振る舞いの例を生成するために,REST APIに共通する一連の動作特性を提案する。
これらの例は、APIの理解を深めるために(i)、自動テストケースのソースとして(ii)の両方に使用することができます。
提案手法は,システム理解と実践者によるテスト生成の源泉として考えられる例を生成することができる。
論文 参考訳（メタデータ） (2023-10-26T11:33:11Z) - Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。
現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。
我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
論文 参考訳（メタデータ） (2023-09-08T20:27:05Z) - Carving UI Tests to Generate API Tests and API Specification [8.743426215048451]
APIレベルのテストは、単体レベルのテストとUIレベルの(あるいはエンドツーエンドの)テストの間で重要な役割を果たす。
既存のAPIテストツールにはAPI仕様が必要である。
WebアプリケーションのAPIレベルのテストを可能にするために,UIテストを活用するアプローチを提案する。
論文 参考訳（メタデータ） (2023-05-24T03:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。