論文の概要: LlamaRestTest: Effective REST API Testing with Small Language Models

• arxiv url: http://arxiv.org/abs/2501.08598v2
• Date: Thu, 03 Apr 2025 19:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:46:44.628280
• Title: LlamaRestTest: Effective REST API Testing with Small Language Models
• Title（参考訳）: LlamaRestTest: 小規模な言語モデルによる効果的なREST APIテスト
• Authors: Myeongsoo Kim, Saurabh Sinha, Alessandro Orso,
• Abstract要約: LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。 私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。 私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
• 参考スコア（独自算出の注目度）: 50.058600784556816
• License:
• Abstract: Modern web services rely heavily on REST APIs, typically documented using the OpenAPI specification. The widespread adoption of this standard has resulted in the development of many black-box testing tools that generate tests based on OpenAPI specifications. Although Large Language Models (LLMs) have shown promising test-generation abilities, their application to REST API testing remains mostly unexplored. We present LlamaRestTest, a novel approach that employs two custom LLMs-created by fine-tuning and quantizing the Llama3-8B model using mined datasets of REST API example values and inter-parameter dependencies-to generate realistic test inputs and uncover inter-parameter dependencies during the testing process by analyzing server responses. We evaluated LlamaRestTest on 12 real-world services (including popular services such as Spotify), comparing it against RESTGPT, a GPT-powered specification-enhancement tool, as well as several state-of-the-art REST API testing tools, including RESTler, MoRest, EvoMaster, and ARAT-RL. Our results demonstrate that fine-tuning enables smaller models to outperform much larger models in detecting actionable parameter-dependency rules and generating valid inputs for REST API testing. We also evaluated different tool configurations, ranging from the base Llama3-8B model to fine-tuned versions, and explored multiple quantization techniques, including 2-bit, 4-bit, and 8-bit integer formats. Our study shows that small language models can perform as well as, or better than, large language models in REST API testing, balancing effectiveness and efficiency. Furthermore, LlamaRestTest outperforms state-of-the-art REST API testing tools in code coverage achieved and internal server errors identified, even when those tools use RESTGPT-enhanced specifications.
• Abstract（参考訳）: 現代のWebサービスはREST APIに大きく依存しており、通常はOpenAPI仕様を使ってドキュメント化されている。 この標準が広く採用されているため、OpenAPI仕様に基づいたテストを生成するブラックボックステストツールが多数開発されている。 Large Language Models (LLMs) は有望なテスト生成能力を示しているが、REST API テストへのアプリケーションはほとんど探索されていない。 LlamaRestTestは、REST APIのサンプル値のマイニングデータセットとパラメータ間の依存関係を使って、Llama3-8Bモデルを微調整し、定量化し、2つのカスタムLLMを利用する新しいアプローチである。 私たちはLlamaRestTestを12の現実世界のサービス(Spotifyなどのポピュラーなサービスを含む)で評価し、GPTを使った仕様拡張ツールであるRESTGPTと、RESTler、MoRest、EvoMaster、ARAT-RLといった最先端のREST APIテストツールを比較しました。 我々の結果は、ファインチューニングにより、アクション可能なパラメータ依存ルールを検出し、REST APIテストに有効なインプットを生成することで、より小さなモデルがはるかに大きなモデルを上回ることを示しています。 また,基礎となるLlama3-8Bモデルから微調整バージョンまで,さまざまなツール構成を評価し,2ビット,4ビット,8ビットの整数形式を含む複数の量子化手法について検討した。 私たちの研究は、REST APIのテスト、効率と効率のバランスをとることで、小さな言語モデルでも、大きな言語モデルでも、それよりも、あるいはそれ以上に、機能できることを示しています。 さらに、LlamaRestTestは、コードカバレッジの達成と内部サーバエラーの特定において、最先端のREST APIテストツールよりも優れています。

関連論文リスト

• AutoRestTest: A Tool for Automated REST API Testing Using LLMs and MARL [46.65963514391019]
  AutoRestTestは、REST APIをテストするための新しいツールだ。 セマンティック操作依存グラフ(SODG)とマルチエージェント強化学習(MARL)と大規模言語モデル(LLM)を統合している。 オペレーションカウントの成功、ユニークなサーバエラーの検出、時間経過に関する継続的なテレメトリを提供する。
  論文  参考訳（メタデータ） (2025-01-15T05:54:33Z)
• A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
  私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。 このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。 12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
  論文  参考訳（メタデータ） (2024-11-11T16:20:27Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• COTS: Connected OpenAPI Test Synthesis for RESTful Applications [0.0]
  OpenAPI仕様のための(i)ドメイン固有言語を導入し、(ii)方法論をサポートするツールを導入します。 私たちのツールはCOTSと呼ばれ、(ランダムに)モデルベースのテスト実行を生成し、ソフトウェア欠陥を報告します。
  論文  参考訳（メタデータ） (2024-04-30T15:12:31Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• REST: Retrieval-Based Speculative Decoding [69.06115086237207]
  本稿では,言語モデル生成の高速化を目的とした新しいアルゴリズムであるRetrieval-Based Speculative Decoding(REST)を紹介する。 投機的復号化のためのドラフト言語モデルに依存する従来の方法とは異なり、RESTは検索の力を利用してドラフトトークンを生成する。 単一バッチ環境で7Bと13Bの言語モデルでベンチマークすると、RESTはコードやテキスト生成において1.62Xから2.36Xの大幅なスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-11-14T15:43:47Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。