論文の概要: You Can REST Now: Automated Specification Inference and Black-Box Testing of RESTful APIs with Large Language Models

• arxiv url: http://arxiv.org/abs/2402.05102v1
• Date: Wed, 7 Feb 2024 18:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 14:05:30.173023
• Title: You Can REST Now: Automated Specification Inference and Black-Box Testing of RESTful APIs with Large Language Models
• Title（参考訳）: RESTが利用可能: 大きな言語モデルによるRESTful APIの仕様推論とブラックボックステストを自動化する
• Authors: Alix Decrop, Gilles Perrouin, Mike Papadakis, Xavier Devroey, Pierre-Yves Schobbens
• Abstract要約: APIを手動でドキュメンテーションすることは、時間がかかり、エラーを起こしやすいタスクであり、その結果、利用できない、不完全な、あるいは不正確なドキュメントになります。 近年,Large Language Models (LLMs) は,その余分なトレーニングデータに基づいてタスクを自動化できることを実証している。 私たちは、最初の自動API仕様推論とブラックボックステストアプローチであるRESTSpecITを紹介します。
• 参考スコア（独自算出の注目度）: 8.753312212588371
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: RESTful APIs are popular web services, requiring documentation to ease their comprehension, reusability and testing practices. The OpenAPI Specification (OAS) is a widely adopted and machine-readable format used to document such APIs. However, manually documenting RESTful APIs is a time-consuming and error-prone task, resulting in unavailable, incomplete, or imprecise documentation. As RESTful API testing tools require an OpenAPI specification as input, insufficient or informal documentation hampers testing quality. Recently, Large Language Models (LLMs) have demonstrated exceptional abilities to automate tasks based on their colossal training data. Accordingly, such capabilities could be utilized to assist the documentation and testing process of RESTful APIs. In this paper, we present RESTSpecIT, the first automated RESTful API specification inference and black-box testing approach leveraging LLMs. The approach requires minimal user input compared to state-of-the-art RESTful API inference and testing tools; Given an API name and an LLM key, HTTP requests are generated and mutated with data returned by the LLM. By sending the requests to the API endpoint, HTTP responses can be analyzed for inference and testing purposes. RESTSpecIT utilizes an in-context prompt masking strategy, requiring no model fine-tuning. Our evaluation demonstrates that RESTSpecIT is capable of: (1) inferring specifications with 85.05% of GET routes and 81.05% of query parameters found on average, (2) discovering undocumented and valid routes and parameters, and (3) uncovering server errors in RESTful APIs. Inferred specifications can also be used as testing tool inputs.
• Abstract（参考訳）: RESTful APIは一般的なWebサービスであり、その理解、再利用性、テストプラクティスを容易にするためにドキュメントを必要とする。 OpenAPI Specification (OAS)は、そのようなAPIを文書化するために広く採用され、機械可読フォーマットである。 しかし、RESTful APIを手動でドキュメンテーションすることは、時間がかかり、エラーを起こしやすいタスクであり、その結果、利用できない、不完全な、あるいは不正確なドキュメントになります。 RESTfulなAPIテストツールは、インプット、不十分、非公式なドキュメントとしてOpenAPI仕様を必要とします。 近年,Large Language Models (LLMs) は,その余分なトレーニングデータに基づいてタスクを自動化できることを実証している。 したがって、RESTful APIのドキュメンテーションとテストプロセスを支援するために、そのような機能を利用することができる。 本稿では, LLMを利用した最初のRESTful API仕様推論とブラックボックステストアプローチであるRESTSpecITを提案する。 このアプローチは、最先端のRESTful API推論とテストツールと比較して、最小限のユーザ入力を必要とする。API名とLLMキーが与えられたら、HTTPリクエストが生成され、LLMによって返されるデータで変更される。 APIエンドポイントにリクエストを送信することで、推論とテスト目的でHTTPレスポンスを分析することができる。 RESTSpecITは、コンテキスト内プロンプトマスキング戦略を使用し、モデル微調整を必要としない。 評価では,1)GETルートの85.05%,クエリパラメータの81.05%で仕様を推測し,(2)文書化されていない有効なルートとパラメータを発見し,(3)RESTful APIでサーバエラーを発見した。 推論された仕様はテストツールの入力としても使える。

関連論文リスト

• Generating Accurate OpenAPI Descriptions from Java Source Code [42.02451453254076]
  AutoOASは、公開されたRESTエンドポイントパス、対応するHTTPメソッド、HTTPレスポンスコード、およびJavaソースコードから直接要求パラメータとレスポンスのデータモデルを検出する。 手動で作成した地上の真実に基づいて、AutoOASはRESTエンドポイントパス、HTTPメソッド、パラメータ、レスポンスを識別する際の最高精度とリコールを達成した。
  論文  参考訳（メタデータ） (2024-10-31T12:34:35Z)
• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  2サンプルテスト問題であるモデル品質テストのような歪みの検出を形式化する。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。 次に、このテストを4つのLlamaモデルの商用推論APIに適用し、31のエンドポイントのうち11がMetaがリリースしたリファレンスウェイトとは異なる分布を提供することがわかった。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• A Systematic Evaluation of Large Code Models in API Suggestion: When, Which, and How [53.65636914757381]
  API提案は、現代のソフトウェア開発において重要なタスクである。 大規模コードモデル(LCM)の最近の進歩は、API提案タスクにおいて有望であることを示している。
  論文  参考訳（メタデータ） (2024-09-20T03:12:35Z)
• DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
  本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。 深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。 実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-16T08:03:55Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• A Solution-based LLM API-using Methodology for Academic Information Seeking [49.096714812902576]
  SoAyは学術情報検索のためのソリューションベースのLLM API利用方法論である。 ソリューションが事前に構築されたAPI呼び出しシーケンスである場合、推論メソッドとしてソリューションを備えたコードを使用する。 その結果、最先端のLLM APIベースのベースラインと比較して34.58-75.99%のパフォーマンス改善が見られた。
  論文  参考訳（メタデータ） (2024-05-24T02:44:14Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Exploring Behaviours of RESTful APIs in an Industrial Setting [0.43012765978447565]
  これらのAPIが示す振る舞いの例を生成するために,REST APIに共通する一連の動作特性を提案する。 これらの例は、APIの理解を深めるために(i)、自動テストケースのソースとして(ii)の両方に使用することができます。 提案手法は,システム理解と実践者によるテスト生成の源泉として考えられる例を生成することができる。
  論文  参考訳（メタデータ） (2023-10-26T11:33:11Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)
• RestGPT: Connecting Large Language Models with Real-World RESTful APIs [44.94234920380684]
  ツール強化された大規模言語モデル(LLM)は、幅広いタスクに対処する上で、目覚ましい進歩を遂げている。 複雑な命令に対処する実践的な課題に対処するために,ロバストネスの力を利用するRestGPTを提案する。 RestGPTを十分に評価するために,実世界の2つのシナリオと人手による指示からなる高品質なベンチマークであるRestBenchを提案する。
  論文  参考訳（メタデータ） (2023-06-11T08:53:12Z)
• Carving UI Tests to Generate API Tests and API Specification [8.743426215048451]
  APIレベルのテストは、単体レベルのテストとUIレベルの(あるいはエンドツーエンドの)テストの間で重要な役割を果たす。 既存のAPIテストツールにはAPI仕様が必要である。 WebアプリケーションのAPIレベルのテストを可能にするために,UIテストを活用するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T03:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。