論文の概要: REST API Testing with Verified LLM-Inferred Dependencies and Response-Driven Refinement
- arxiv url: http://arxiv.org/abs/2608.17546v2
- Date: Thu, 20 Aug 2026 01:07:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 14:00:35.463629
- Title: REST API Testing with Verified LLM-Inferred Dependencies and Response-Driven Refinement
- Title(参考訳): LLM-Inferred Dependencies と Response-Driven Refinement を用いた REST API テスト
- Abstract要約: APIをテストするには、操作、パラメータ、実行時に生成されたリソース間の依存関係を満たすAPI呼び出しを生成する必要がある。
最近のLCMベースのアプローチは、そのような依存関係を推論し、OpenAPI仕様からテストシーケンスを生成する。
これは、急激な依存関係を導入し、実行可能な操作チェーンを見逃し、実行不可能なテストを生成する。
私たちは、REST APIテストのための実行検証フレームワークであるAPIPilotを提案します。
- 参考スコア(独自算出の注目度): 19.22574614688818
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Testing RESTful APIs requires generating sequences of API calls that satisfy dependencies among operations, parameters, and runtime-created resources. Recent LLM-based approaches infer such dependencies and generate test sequences from OpenAPI specifications, but they often treat LLM-inferred relationships as correct without execution-based validation. This can introduce spurious dependencies, miss feasible operation chains, and produce infeasible tests. In this paper, we propose APIPilot}, an execution-validated framework for REST API testing. APIPilot first derives candidate producer-consumer dependencies from OpenAPI specifications using structural heuristics and LLM-based semantic reasoning. It then treats these dependencies as hypotheses and validates them through concrete API executions before using them for test generation. The validated dependencies are organized into a dependency graph from which APIPilot constructs coverage-aware workflows via bounded top-k graph traversal, separating semantic dependency inference from sequence construction. To improve subsequent tests, APIPilot further performs response-driven refinement: runtime responses are analyzed to update resource pools, adjust input-generation constraints, and prune or revise invalid dependency mappings. Empirical evaluation on 16 real-world REST API services shows that APIPilot achieves 92.3% operation coverage, up to 58.6% code coverage, and an 88.1% workflow execution success rate, outperforming both LLM-based and traditional REST API testing baselines. APIPilot also detects 197 unique 5xx failures and specification-execution mismatches, demonstrating the benefit of grounding dependency inference in execution feedback.
- Abstract(参考訳): RESTfulなAPIをテストするには、操作、パラメータ、実行時に生成されたリソース間の依存関係を満たす一連のAPI呼び出しを生成する必要がある。
最近のLLMベースのアプローチでは、そのような依存関係を推測し、OpenAPI仕様からテストシーケンスを生成するが、実行ベースの検証なしにLLMの推論された関係を正しいものとして扱うことが多い。
これは、急激な依存関係を導入し、実行可能な操作チェーンを見逃し、実行不可能なテストを生成する。
本稿では,REST API テストのための実行検証フレームワークである APIPilot} を提案する。
APIPilotはまず、構造的ヒューリスティックスとLLMベースのセマンティック推論を使用して、OpenAPI仕様からプロデューサとコンシューマの依存関係候補を導出する。
その後、これらの依存関係を仮説として扱い、テスト生成に使用する前に具体的なAPI実行を通じて検証する。
検証済みの依存関係は依存性グラフに編成され、APIPilotは境界付きトップkグラフトラバースを通じてカバレッジ対応ワークフローを構築し、シーケンス構成からセマンティック依存関係推論を分離する。
ランタイムレスポンスは、リソースプールの更新、入力生成制約の調整、無効な依存性マッピングのプーンまたは修正のために分析される。
16の現実世界のREST APIサービスに対する実証的な評価は、APIPilotが92.3%の運用カバレッジ、58.6%のコードカバレッジ、88.1%のワークフロー実行の成功率を達成したことを示している。
APIPilotはまた、197のユニークな5xx障害と仕様実行ミスマッチを検出し、実行フィードバックの依存性推論を根拠にするメリットを示している。
関連論文リスト
- RESTCov: A Tool for Structural Coverage Analysis of REST APIs [0.6445605125467572]
RESTCovは、OpenAPI仕様から構造化REST APIカバレッジを計算するツールである。
機械可読結果と人間可読HTMLレポートの両方を生成する。
論文 参考訳(メタデータ) (2026-08-28T09:23:36Z) - Environment-free Synthetic Data Generation for API-Calling Agents [68.95520739708304]
API呼び出し大型言語モデル(LLM)エージェントの訓練には、大量の高品質なトラジェクトリが必要である。
本研究では,LLMをオンザフライデジタルワールドモデルとして活用する環境不要な合成データ生成手法を提案する。
我々は,情報検索タスクと状態変更タスクの両方を含む,挑戦的なAppWorldとOfficeBenchベンチマークに対するアプローチを評価した。
論文 参考訳(メタデータ) (2026-07-18T17:36:44Z) - Multi-Agent LLM-based Metamorphic Testing for REST APIs [1.7616042687330637]
LLMベースのマルチエージェントワークフローを使用して、REST APIのメタモルフィックテストをサポートするツールサポートのアプローチであるARMetaを紹介します。
RESTインターフェースを公開する2つの公開Webアプリケーション上でARMetaを評価し、そのパフォーマンスをシナリオベースのテストベースラインと比較する。
論文 参考訳(メタデータ) (2026-05-27T11:24:46Z) - Test Amplification for REST APIs via Single and Multi-Agent LLM Systems [1.6499388997661122]
既存のREST APIテストスイートを増幅するために,単一エージェントとマルチエージェントのセットアップである大規模言語モデル(LLM)システムについて検討する。
本稿では, テストカバレッジ, バグ検出の有効性, 計算コストやエネルギー使用量など, 様々な側面における2つのアプローチの比較検討を行う。
論文 参考訳(メタデータ) (2025-04-10T20:19:50Z) - AutoRestTest: A Tool for Automated REST API Testing Using LLMs and MARL [46.65963514391019]
AutoRestTestは、Semantic Property Dependency Graph(SPDG)とMARL(Multi-Agent Reinforcement Learning)と大規模言語モデル(LLM)を統合して、効果的なREST APIテストを可能にする新しいツールである。
論文 参考訳(メタデータ) (2025-01-15T05:54:33Z) - LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。
私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。
私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
論文 参考訳(メタデータ) (2025-01-15T05:51:20Z) - A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。
このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。
12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
論文 参考訳(メタデータ) (2024-11-11T16:20:27Z) - KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。
実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
論文 参考訳(メタデータ) (2024-07-14T14:48:18Z) - Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。
評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
論文 参考訳(メタデータ) (2023-12-01T19:53:23Z) - Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。
現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。
我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
論文 参考訳(メタデータ) (2023-09-08T20:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。