論文の概要: LlamaRestTest: Effective REST API Testing with Small Language Models

• arxiv url: http://arxiv.org/abs/2501.08598v1
• Date: Wed, 15 Jan 2025 05:51:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-16 15:53:37.865027
• Title: LlamaRestTest: Effective REST API Testing with Small Language Models
• Title（参考訳）: LlamaRestTest: 小規模な言語モデルによる効果的なREST APIテスト
• Authors: Myeongsoo Kim, Saurabh Sinha, Alessandro Orso,
• Abstract要約: LlamaRestTestは、2つのカスタムLCMを使って現実的なテストインプットを生成する新しいアプローチである。 LlamaRestTestは、RESTGPTで強化された仕様でさえ、コードカバレッジとエラー検出において最先端のツールを上回っている。
• 参考スコア（独自算出の注目度）: 50.058600784556816
• License:
• Abstract: Modern web services rely heavily on REST APIs, typically documented using the OpenAPI specification. The widespread adoption of this standard has resulted in the development of many black-box testing tools that generate tests based on these specifications. Recent advancements in Natural Language Processing (NLP), particularly with Large Language Models (LLMs), have enhanced REST API testing by extracting actionable rules and generating input values from the human-readable portions of the specification. However, these advancements overlook the potential of continuously refining the identified rules and test inputs based on server responses. To address this limitation, we present LlamaRestTest, a novel approach that employs two custom LLMs to generate realistic test inputs and uncover parameter dependencies during the testing process by incorporating server responses. These LLMs are created by fine-tuning the Llama3-8b model, using mined datasets of REST API example values and inter-parameter dependencies. We evaluated LlamaRestTest on 12 real-world services (including popular services such as Spotify), comparing it against RESTGPT, a GPT-powered specification-enhancement tool, as well as several state-of-the-art REST API testing tools, including RESTler, MoRest, EvoMaster, and ARAT-RL. Our results show that fine-tuning enables smaller LLMs to outperform larger models in detecting actionable rules and generating inputs for REST API testing. We evaluated configurations from the base Llama3-8B to fine-tuned versions and explored 2-bit, 4-bit, and 8-bit quantization for efficiency. LlamaRestTest surpasses state-of-the-art tools in code coverage and error detection, even with RESTGPT-enhanced specifications, and an ablation study highlights the impact of its novel components.
• Abstract（参考訳）: 現代のWebサービスはREST APIに大きく依存しており、通常はOpenAPI仕様を使ってドキュメント化されている。 この標準が広く採用されているため、これらの仕様に基づいてテストを生成するブラックボックステストツールが多数開発されている。 自然言語処理(NLP)の最近の進歩、特にLarge Language Models(LLM)では、実行可能なルールを抽出し、仕様の可読部分から入力値を生成することで、REST APIテストが強化されている。 しかし、これらの進歩は、サーバのレスポンスに基づいて、特定されたルールとテストインプットを継続的に洗練する可能性を見落としている。 この制限に対処するため、LlamaRestTestという、2つのカスタムLCMを使用して、テストプロセス中に現実的なテスト入力を生成し、サーバ応答を組み込むことでパラメータ依存性を明らかにする新しいアプローチを提案する。 これらのLLMは、REST APIの例値とパラメータ間の依存関係のマイニングデータセットを使用して、Llama3-8bモデルを微調整することによって生成される。 私たちはLlamaRestTestを12の現実世界のサービス(Spotifyなどのポピュラーなサービスを含む)で評価し、GPTを使った仕様拡張ツールであるRESTGPTと、RESTler、MoRest、EvoMaster、ARAT-RLといった最先端のREST APIテストツールを比較しました。 以上の結果から,より小型のLCMでは,アクション可能なルールの検出やREST APIテストのインプット生成において,より大きなモデルよりも優れた性能が得られることがわかった。 基礎となるLlama3-8Bから細調整されたバージョンへの構成を評価し,2ビット,4ビット,8ビットの量子化を効率よく検討した。 LlamaRestTestは、RESTGPTの強化された仕様でさえ、コードカバレッジとエラー検出において最先端のツールを超えており、アブレーション調査は、その新しいコンポーネントの影響を強調している。

関連論文リスト

• A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
  私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスフレームワークであるAutoRestTestを紹介します。 MARL(Multi-Agent Reinforcement Learning)とSPDG(Semantic Property Dependency Graph)とLLM(Large Language Models)を統合した。 このアプローチでは、REST APIテストを、API、依存性、パラメータ、バリューという4つのエージェントが協力して、API探索を最適化する、分離可能な問題として扱います。
  論文  参考訳（メタデータ） (2024-11-11T16:20:27Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• COTS: Connected OpenAPI Test Synthesis for RESTful Applications [0.0]
  OpenAPI仕様のための(i)ドメイン固有言語を導入し、(ii)方法論をサポートするツールを導入します。 私たちのツールはCOTSと呼ばれ、(ランダムに)モデルベースのテスト実行を生成し、ソフトウェア欠陥を報告します。
  論文  参考訳（メタデータ） (2024-04-30T15:12:31Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• REST: Retrieval-Based Speculative Decoding [69.06115086237207]
  本稿では,言語モデル生成の高速化を目的とした新しいアルゴリズムであるRetrieval-Based Speculative Decoding(REST)を紹介する。 投機的復号化のためのドラフト言語モデルに依存する従来の方法とは異なり、RESTは検索の力を利用してドラフトトークンを生成する。 単一バッチ環境で7Bと13Bの言語モデルでベンチマークすると、RESTはコードやテキスト生成において1.62Xから2.36Xの大幅なスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-11-14T15:43:47Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。