論文の概要: Multi-Agent LLM-based Metamorphic Testing for REST APIs
- arxiv url: http://arxiv.org/abs/2605.28321v1
- Date: Wed, 27 May 2026 11:24:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.999992
- Title: Multi-Agent LLM-based Metamorphic Testing for REST APIs
- Title(参考訳): REST APIのためのマルチエージェントLLMベースのメタモルフィックテスト
- Authors: Shehroz Khan, Abdullah Mughees, Gaadha Sudheerbabu, Tanwir Ahmad, Dragos Truscan,
- Abstract要約: LLMベースのマルチエージェントワークフローを使用して、REST APIのメタモルフィックテストをサポートするツールサポートのアプローチであるARMetaを紹介します。
RESTインターフェースを公開する2つの公開Webアプリケーション上でARMetaを評価し、そのパフォーマンスをシナリオベースのテストベースラインと比較する。
- 参考スコア(独自算出の注目度): 1.7616042687330637
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As REST APIs become an increasingly significant part of software systems, their validation is becoming more critical. Hence, testing and uncovering underlying issues are of utmost importance for improving software quality. However, testing REST APIs is challenging mainly due to the difficulty of assessing whether the output of an API call is correct, i.e., the test oracle problem. Metamorphic testing is a specification-based testing approach for situations where correct outputs are unknown or not specified explicitly. To check the correctness of a system, relations between the different outputs are specified. We present ARMeta, a tool-supported approach that uses an LLM-based multi-agent workflow to support metamorphic testing of REST APIs documented with OpenAPI. The agentic workflow is used to identify metamorphic test scenarios and specify them in the Given-When-Then format. These scenarios are automatically implemented as executable tests and executed against the system under test. We evaluate ARMeta on two publicly available web applications that expose REST interfaces and compare its performance with a scenario-based testing baseline. The results show that ARMeta explores behaviors that serve as a complement to existing scenario-based testing approaches.
- Abstract(参考訳): REST APIがソフトウェアシステムにおいてますます重要な部分になるにつれて、そのバリデーションはますます重要になっています。
したがって、ソフトウェアの品質を改善する上で、根底にある問題のテストと発見が最も重要です。
しかし、REST APIのテストは、主にAPI呼び出しの出力が正しいかどうかを評価するのが難しいため、難しい。
メタモルフィックテスト(メタモルフィックテスト)は、正確なアウトプットが未知あるいは明示されていない状況に対する仕様ベースのテスト手法である。
システムの正しさを確認するために、異なる出力間の関係を特定する。
LLMベースのマルチエージェントワークフローを使用して、OpenAPIでドキュメント化されたREST APIのメタモルフィックテストをサポートする、ツール支援のアプローチであるARMetaを紹介します。
エージェントワークフローは、メタモルフィックテストシナリオを特定し、Given-When-Thenフォーマットでそれらを指定するために使用される。
これらのシナリオは実行可能テストとして自動的に実装され、テスト中のシステムに対して実行される。
RESTインターフェースを公開する2つの公開Webアプリケーション上でARMetaを評価し、そのパフォーマンスをシナリオベースのテストベースラインと比較する。
その結果、ARMetaは既存のシナリオベースのテストアプローチを補完する振る舞いを探求していることがわかった。
関連論文リスト
- Test Amplification for REST APIs via Single and Multi-Agent LLM Systems [1.6499388997661122]
既存のREST APIテストスイートを増幅するために,単一エージェントとマルチエージェントのセットアップである大規模言語モデル(LLM)システムについて検討する。
本稿では, テストカバレッジ, バグ検出の有効性, 計算コストやエネルギー使用量など, 様々な側面における2つのアプローチの比較検討を行う。
論文 参考訳(メタデータ) (2025-04-10T20:19:50Z) - LogiAgent: Automated Logical Testing for REST Systems with LLM-Based Multi-Agents [24.234475859016396]
LogiAgentは、RESTシステムの論理テストのための新しいアプローチである。
ビジネスロジックに基づいて応答を評価する論理的オラクルが組み込まれている。
基本的にはサーバのクラッシュの検出に優れ、最先端の4つのREST APIテストツールと比較してテストカバレッジが優れている。
論文 参考訳(メタデータ) (2025-03-19T10:24:16Z) - AutoRestTest: A Tool for Automated REST API Testing Using LLMs and MARL [46.65963514391019]
AutoRestTestは、Semantic Property Dependency Graph(SPDG)とMARL(Multi-Agent Reinforcement Learning)と大規模言語モデル(LLM)を統合して、効果的なREST APIテストを可能にする新しいツールである。
論文 参考訳(メタデータ) (2025-01-15T05:54:33Z) - LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。
私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。
私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
論文 参考訳(メタデータ) (2025-01-15T05:51:20Z) - A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。
このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。
12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
論文 参考訳(メタデータ) (2024-11-11T16:20:27Z) - KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。
実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
論文 参考訳(メタデータ) (2024-07-14T14:48:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。