論文の概要: APITestGenie: Generating Web API Tests from Requirements and API Specifications with LLMs

• arxiv url: http://arxiv.org/abs/2604.02039v1
• Date: Thu, 02 Apr 2026 13:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.825621
• Title: APITestGenie: Generating Web API Tests from Requirements and API Specifications with LLMs
• Title（参考訳）: APITestGenie: LLMによる要件とAPI仕様からWeb APIテストを生成する
• Authors: André Pereira, Bruno Lima, João Pascoal Faria,
• Abstract要約: APITestGenieは、ビジネス要件とOpenAPI仕様から直接API統合テストを生成する新しいツールである。 このツールは、少なくとも3回の試行を経て、テスト中のビジネス要件の89%に対して、構文的に、セマンティックに有効なテストスクリプトを生成することができた。 生成されたテストによっては、エンドポイント間の統合の問題など、これまで未知のAPIの欠陥が明らかになった。
• 参考スコア（独自算出の注目度）: 0.6445087473595952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern software systems rely heavily on Web APIs, yet creating meaningful and executable test scripts remains a largely manual, time-consuming, and error-prone task. In this paper, we present APITestGenie, a novel tool that leverages Large Language Models (LLMs), Retrieval-Augmented Generation (RAG), and prompt engineering to automatically generate API integration tests directly from business requirements and OpenAPI specifications. We evaluated APITestGenie on 10 real-world APIs, including 8 APIs comprising circa 1,000 live endpoints from an industrial partner in the automotive domain. The tool was able to generate syntactically and semantically valid test scripts for 89\% of the business requirements under test after at most three attempts. Notably, some generated tests revealed previously unknown defects in the APIs, including integration issues between endpoints. Statistical analysis identified API complexity and level of detail in business requirements as primary factors influencing success rates, with the level of detail in API documentation also affecting outcomes. Feedback from industry practitioners confirmed strong interest in adoption, substantially reducing the manual effort in writing acceptance tests, and improving the alignment between tests and business requirements.
• Abstract（参考訳）: 現代のソフトウェアシステムはWeb APIに大きく依存していますが、有意義で実行可能なテストスクリプトを作成することは、主に手作業で、時間がかかり、エラーを起こしやすいタスクです。 本稿では,Large Language Models (LLMs), Retrieval-Augmented Generation (RAG)を活用する新しいツールであるAPITestGenieを提案する。 自動車分野の産業パートナーから1,000のライブエンドポイントを含む8つのAPIを含む10の現実世界API上で、APITestGenieを評価した。 このツールは、少なくとも3回の試行を経て、テスト中のビジネス要件の99%に対して、構文的に、セマンティックに有効なテストスクリプトを生成することができた。 注目すべきなのは、いくつかの生成されたテストでは、エンドポイント間の統合の問題を含む、これまで未知のAPIの欠陥が明らかになったことだ。 統計分析では、APIの複雑さとビジネス要件の詳細なレベルが、成功率に影響を及ぼす主要な要因として特定され、APIドキュメントの詳細なレベルも結果に影響を与える。 業界関係者からのフィードバックは、採用に対する強い関心を認め、受け入れテストを書くための手作業を大幅に削減し、テストとビジネス要件の整合性を改善した。

関連論文リスト

• Test Amplification for REST APIs via Single and Multi-Agent LLM Systems [1.6499388997661122]
  既存のREST APIテストスイートを増幅するために,単一エージェントとマルチエージェントのセットアップである大規模言語モデル(LLM)システムについて検討する。 本稿では, テストカバレッジ, バグ検出の有効性, 計算コストやエネルギー使用量など, 様々な側面における2つのアプローチの比較検討を行う。
  論文  参考訳（メタデータ） (2025-04-10T20:19:50Z)
• Utilizing API Response for Test Refinement [2.8002188463519944]
  本稿では,応答メッセージを利用した動的テスト改善手法を提案する。 インテリジェントエージェントを使用すると、テストシナリオを生成するためにさらに使用されるAPI仕様に制約が追加される。 提案されたアプローチは、4xxレスポンスの数を減少させ、より現実的なテストケースを生成するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2025-01-30T05:26:32Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。 私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。 私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 実験の結果、ExploreaCoderは、事前のAPI知識に欠けるモデルのパフォーマンスを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
  私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。 このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。 12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
  論文  参考訳（メタデータ） (2024-11-11T16:20:27Z)
• APITestGenie: Automated API Test Generation through Generative AI [2.0716352593701277]
  APITestGenieはビジネス要件とAPI仕様から実行可能なAPIテストスクリプトを生成する。 10の現実世界のAPIを使った実験では、ツールが有効なテストスクリプトを57%生成した。 人間の介入は、CI/CDパイプラインに統合される前に生成されたスクリプトを検証または洗練するために推奨される。
  論文  参考訳（メタデータ） (2024-09-05T18:02:41Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Carving UI Tests to Generate API Tests and API Specification [8.743426215048451]
  APIレベルのテストは、単体レベルのテストとUIレベルの(あるいはエンドツーエンドの)テストの間で重要な役割を果たす。 既存のAPIテストツールにはAPI仕様が必要である。 WebアプリケーションのAPIレベルのテストを可能にするために,UIテストを活用するアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T03:53:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。