論文の概要: You Can REST Now: Automated Specification Inference and Black-Box
Testing of RESTful APIs with Large Language Models
- arxiv url: http://arxiv.org/abs/2402.05102v1
- Date: Wed, 7 Feb 2024 18:55:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 14:05:30.173023
- Title: You Can REST Now: Automated Specification Inference and Black-Box
Testing of RESTful APIs with Large Language Models
- Title(参考訳): RESTが利用可能: 大きな言語モデルによるRESTful APIの仕様推論とブラックボックステストを自動化する
- Authors: Alix Decrop, Gilles Perrouin, Mike Papadakis, Xavier Devroey,
Pierre-Yves Schobbens
- Abstract要約: APIを手動でドキュメンテーションすることは、時間がかかり、エラーを起こしやすいタスクであり、その結果、利用できない、不完全な、あるいは不正確なドキュメントになります。
近年,Large Language Models (LLMs) は,その余分なトレーニングデータに基づいてタスクを自動化できることを実証している。
私たちは、最初の自動API仕様推論とブラックボックステストアプローチであるRESTSpecITを紹介します。
- 参考スコア(独自算出の注目度): 8.753312212588371
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: RESTful APIs are popular web services, requiring documentation to ease their
comprehension, reusability and testing practices. The OpenAPI Specification
(OAS) is a widely adopted and machine-readable format used to document such
APIs. However, manually documenting RESTful APIs is a time-consuming and
error-prone task, resulting in unavailable, incomplete, or imprecise
documentation. As RESTful API testing tools require an OpenAPI specification as
input, insufficient or informal documentation hampers testing quality.
Recently, Large Language Models (LLMs) have demonstrated exceptional
abilities to automate tasks based on their colossal training data. Accordingly,
such capabilities could be utilized to assist the documentation and testing
process of RESTful APIs.
In this paper, we present RESTSpecIT, the first automated RESTful API
specification inference and black-box testing approach leveraging LLMs. The
approach requires minimal user input compared to state-of-the-art RESTful API
inference and testing tools; Given an API name and an LLM key, HTTP requests
are generated and mutated with data returned by the LLM. By sending the
requests to the API endpoint, HTTP responses can be analyzed for inference and
testing purposes. RESTSpecIT utilizes an in-context prompt masking strategy,
requiring no model fine-tuning. Our evaluation demonstrates that RESTSpecIT is
capable of: (1) inferring specifications with 85.05% of GET routes and 81.05%
of query parameters found on average, (2) discovering undocumented and valid
routes and parameters, and (3) uncovering server errors in RESTful APIs.
Inferred specifications can also be used as testing tool inputs.
- Abstract(参考訳): RESTful APIは一般的なWebサービスであり、その理解、再利用性、テストプラクティスを容易にするためにドキュメントを必要とする。
OpenAPI Specification (OAS)は、そのようなAPIを文書化するために広く採用され、機械可読フォーマットである。
しかし、RESTful APIを手動でドキュメンテーションすることは、時間がかかり、エラーを起こしやすいタスクであり、その結果、利用できない、不完全な、あるいは不正確なドキュメントになります。
RESTfulなAPIテストツールは、インプット、不十分、非公式なドキュメントとしてOpenAPI仕様を必要とします。
近年,Large Language Models (LLMs) は,その余分なトレーニングデータに基づいてタスクを自動化できることを実証している。
したがって、RESTful APIのドキュメンテーションとテストプロセスを支援するために、そのような機能を利用することができる。
本稿では, LLMを利用した最初のRESTful API仕様推論とブラックボックステストアプローチであるRESTSpecITを提案する。
このアプローチは、最先端のRESTful API推論とテストツールと比較して、最小限のユーザ入力を必要とする。API名とLLMキーが与えられたら、HTTPリクエストが生成され、LLMによって返されるデータで変更される。
APIエンドポイントにリクエストを送信することで、推論とテスト目的でHTTPレスポンスを分析することができる。
RESTSpecITは、コンテキスト内プロンプトマスキング戦略を使用し、モデル微調整を必要としない。
評価では,1)GETルートの85.05%,クエリパラメータの81.05%で仕様を推測し,(2)文書化されていない有効なルートとパラメータを発見し,(3)RESTful APIでサーバエラーを発見した。
推論された仕様はテストツールの入力としても使える。
関連論文リスト
- SpeCrawler: Generating OpenAPI Specifications from API Documentation
Using Large Language Models [8.372941103284774]
SpeCrawlerは、さまざまなAPIドキュメントからOpenAPI仕様を生成する包括的なシステムである。
本稿では,実証的証拠とケーススタディに支えられたSpeCrawlerの方法論について考察する。
論文 参考訳(メタデータ) (2024-02-18T15:33:24Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳(メタデータ) (2023-12-01T19:53:23Z) - REST: Retrieval-Based Speculative Decoding [69.06115086237207]
本稿では,言語モデル生成の高速化を目的とした新しいアルゴリズムであるRetrieval-Based Speculative Decoding(REST)を紹介する。
投機的復号化のためのドラフト言語モデルに依存する従来の方法とは異なり、RESTは検索の力を利用してドラフトトークンを生成する。
単一バッチ環境で7Bと13Bの言語モデルでベンチマークすると、RESTはコードやテキスト生成において1.62Xから2.36Xの大幅なスピードアップを達成する。
論文 参考訳(メタデータ) (2023-11-14T15:43:47Z) - Exploring Behaviours of RESTful APIs in an Industrial Setting [0.43012765978447565]
これらのAPIが示す振る舞いの例を生成するために,REST APIに共通する一連の動作特性を提案する。
これらの例は、APIの理解を深めるために(i)、自動テストケースのソースとして(ii)の両方に使用することができます。
提案手法は,システム理解と実践者によるテスト生成の源泉として考えられる例を生成することができる。
論文 参考訳(メタデータ) (2023-10-26T11:33:11Z) - Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。
現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。
我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
論文 参考訳(メタデータ) (2023-09-08T20:27:05Z) - RestGPT: Connecting Large Language Models with Real-World RESTful APIs [44.94234920380684]
ツール強化された大規模言語モデル(LLM)は、幅広いタスクに対処する上で、目覚ましい進歩を遂げている。
複雑な命令に対処する実践的な課題に対処するために,ロバストネスの力を利用するRestGPTを提案する。
RestGPTを十分に評価するために,実世界の2つのシナリオと人手による指示からなる高品質なベンチマークであるRestBenchを提案する。
論文 参考訳(メタデータ) (2023-06-11T08:53:12Z) - Carving UI Tests to Generate API Tests and API Specification [8.743426215048451]
APIレベルのテストは、単体レベルのテストとUIレベルの(あるいはエンドツーエンドの)テストの間で重要な役割を果たす。
既存のAPIテストツールにはAPI仕様が必要である。
WebアプリケーションのAPIレベルのテストを可能にするために,UIテストを活用するアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-24T03:53:34Z) - Evaluating Embedding APIs for Information Retrieval [51.24236853841468]
ドメインの一般化と多言語検索における既存のセマンティック埋め込みAPIの機能を評価する。
BM25の結果をAPIを使って再ランク付けすることは、予算に優しいアプローチであり、英語でもっとも効果的である。
非英語検索では、再ランク付けは結果を改善するが、BM25のハイブリッドモデルは高いコストで機能する。
論文 参考訳(メタデータ) (2023-05-10T16:40:52Z) - REaaS: Enabling Adversarially Robust Downstream Classifiers via Robust
Encoder as a Service [67.0982378001551]
サービスプロバイダがエンコーダを事前トレーニングして、クラウドサービスAPIとしてデプロイする方法を示します。
クライアントはクラウドサービスAPIに問い合わせて、トレーニング/テスト入力のフィーチャーベクタを取得する。
私たちは、クライアントが下流の分類器の堅牢性を証明できるように、クラウドサービスが2つのAPIを提供する必要があることを示しています。
論文 参考訳(メタデータ) (2023-01-07T17:40:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。