論文の概要: You Can REST Now: Automated Specification Inference and Black-Box Testing of RESTful APIs with Large Language Models

• arxiv url: http://arxiv.org/abs/2402.05102v1
• Date: Wed, 7 Feb 2024 18:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 14:05:30.173023
• Title: You Can REST Now: Automated Specification Inference and Black-Box Testing of RESTful APIs with Large Language Models
• Title（参考訳）: RESTが利用可能: 大きな言語モデルによるRESTful APIの仕様推論とブラックボックステストを自動化する
• Authors: Alix Decrop, Gilles Perrouin, Mike Papadakis, Xavier Devroey, Pierre-Yves Schobbens
• Abstract要約: APIを手動でドキュメンテーションすることは、時間がかかり、エラーを起こしやすいタスクであり、その結果、利用できない、不完全な、あるいは不正確なドキュメントになります。 近年,Large Language Models (LLMs) は,その余分なトレーニングデータに基づいてタスクを自動化できることを実証している。 私たちは、最初の自動API仕様推論とブラックボックステストアプローチであるRESTSpecITを紹介します。
• 参考スコア（独自算出の注目度）: 8.753312212588371
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: RESTful APIs are popular web services, requiring documentation to ease their comprehension, reusability and testing practices. The OpenAPI Specification (OAS) is a widely adopted and machine-readable format used to document such APIs. However, manually documenting RESTful APIs is a time-consuming and error-prone task, resulting in unavailable, incomplete, or imprecise documentation. As RESTful API testing tools require an OpenAPI specification as input, insufficient or informal documentation hampers testing quality. Recently, Large Language Models (LLMs) have demonstrated exceptional abilities to automate tasks based on their colossal training data. Accordingly, such capabilities could be utilized to assist the documentation and testing process of RESTful APIs. In this paper, we present RESTSpecIT, the first automated RESTful API specification inference and black-box testing approach leveraging LLMs. The approach requires minimal user input compared to state-of-the-art RESTful API inference and testing tools; Given an API name and an LLM key, HTTP requests are generated and mutated with data returned by the LLM. By sending the requests to the API endpoint, HTTP responses can be analyzed for inference and testing purposes. RESTSpecIT utilizes an in-context prompt masking strategy, requiring no model fine-tuning. Our evaluation demonstrates that RESTSpecIT is capable of: (1) inferring specifications with 85.05% of GET routes and 81.05% of query parameters found on average, (2) discovering undocumented and valid routes and parameters, and (3) uncovering server errors in RESTful APIs. Inferred specifications can also be used as testing tool inputs.
• Abstract（参考訳）: RESTful APIは一般的なWebサービスであり、その理解、再利用性、テストプラクティスを容易にするためにドキュメントを必要とする。 OpenAPI Specification (OAS)は、そのようなAPIを文書化するために広く採用され、機械可読フォーマットである。 しかし、RESTful APIを手動でドキュメンテーションすることは、時間がかかり、エラーを起こしやすいタスクであり、その結果、利用できない、不完全な、あるいは不正確なドキュメントになります。 RESTfulなAPIテストツールは、インプット、不十分、非公式なドキュメントとしてOpenAPI仕様を必要とします。 近年,Large Language Models (LLMs) は,その余分なトレーニングデータに基づいてタスクを自動化できることを実証している。 したがって、RESTful APIのドキュメンテーションとテストプロセスを支援するために、そのような機能を利用することができる。 本稿では, LLMを利用した最初のRESTful API仕様推論とブラックボックステストアプローチであるRESTSpecITを提案する。 このアプローチは、最先端のRESTful API推論とテストツールと比較して、最小限のユーザ入力を必要とする。API名とLLMキーが与えられたら、HTTPリクエストが生成され、LLMによって返されるデータで変更される。 APIエンドポイントにリクエストを送信することで、推論とテスト目的でHTTPレスポンスを分析することができる。 RESTSpecITは、コンテキスト内プロンプトマスキング戦略を使用し、モデル微調整を必要としない。 評価では,1)GETルートの85.05%,クエリパラメータの81.05%で仕様を推測し,(2)文書化されていない有効なルートとパラメータを発見し,(3)RESTful APIでサーバエラーを発見した。 推論された仕様はテストツールの入力としても使える。

関連論文リスト

• Utilizing API Response for Test Refinement [2.8002188463519944]
  本稿では,応答メッセージを利用した動的テスト改善手法を提案する。 インテリジェントエージェントを使用すると、テストシナリオを生成するためにさらに使用されるAPI仕様に制約が追加される。 提案されたアプローチは、4xxレスポンスの数を減少させ、より現実的なテストケースを生成するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2025-01-30T05:26:32Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのカスタムLCMを使って現実的なテストインプットを生成する新しいアプローチである。 LlamaRestTestは、RESTGPTで強化された仕様でさえ、コードカバレッジとエラー検出において最先端のツールを上回っている。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• APIRL: Deep Reinforcement Learning for REST API Fuzzing [3.053989095162017]
  APIRLは、REST APIをテストするための、完全に自動化された深層強化学習ツールである。 APIRLは、現実世界のREST APIの最先端よりも、はるかに多くのバグを見つけることができます。
  論文  参考訳（メタデータ） (2024-12-20T15:40:51Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
  私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。 このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。 12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
  論文  参考訳（メタデータ） (2024-11-11T16:20:27Z)
• DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
  本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。 深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。 実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-16T08:03:55Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)
• RestGPT: Connecting Large Language Models with Real-World RESTful APIs [44.94234920380684]
  ツール強化された大規模言語モデル(LLM)は、幅広いタスクに対処する上で、目覚ましい進歩を遂げている。 複雑な命令に対処する実践的な課題に対処するために,ロバストネスの力を利用するRestGPTを提案する。 RestGPTを十分に評価するために,実世界の2つのシナリオと人手による指示からなる高品質なベンチマークであるRestBenchを提案する。
  論文  参考訳（メタデータ） (2023-06-11T08:53:12Z)
• Carving UI Tests to Generate API Tests and API Specification [8.743426215048451]
  APIレベルのテストは、単体レベルのテストとUIレベルの(あるいはエンドツーエンドの)テストの間で重要な役割を果たす。 既存のAPIテストツールにはAPI仕様が必要である。 WebアプリケーションのAPIレベルのテストを可能にするために,UIテストを活用するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T03:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。