論文の概要: LogiAgent: Automated Logical Testing for REST Systems with LLM-Based Multi-Agents

• arxiv url: http://arxiv.org/abs/2503.15079v1
• Date: Wed, 19 Mar 2025 10:24:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:49.853721
• Title: LogiAgent: Automated Logical Testing for REST Systems with LLM-Based Multi-Agents
• Title（参考訳）: LogiAgent: LLMベースのマルチエージェントを備えたRESTシステムのための自動論理テスト
• Authors: Ke Zhang, Chenxi Zhang, Chong Wang, Chi Zhang, YaChen Wu, Zhenchang Xing, Yang Liu, Qingshan Li, Xin Peng,
• Abstract要約: LogiAgentは、RESTシステムの論理テストのための新しいアプローチである。 ビジネスロジックに基づいて応答を評価する論理的オラクルが組み込まれている。 基本的にはサーバのクラッシュの検出に優れ、最先端の4つのREST APIテストツールと比較してテストカバレッジが優れている。
• 参考スコア（独自算出の注目度）: 24.234475859016396
• License:
• Abstract: Automated testing for REST APIs has become essential for ensuring the correctness and reliability of modern web services. While existing approaches primarily focus on detecting server crashes and error codes, they often overlook logical issues that arise due to evolving business logic and domain-specific requirements. To address this limitation, we propose LogiAgent, a novel approach for logical testing of REST systems. Built upon a large language model (LLM)-driven multi-agent framework, LogiAgent integrates a Test Scenario Generator, API Request Executor, and API Response Validator to collaboratively generate, execute, and validate API test scenarios. Unlike traditional testing methods that focus on status codes like 5xx, LogiAgent incorporates logical oracles that assess responses based on business logic, ensuring more comprehensive testing. The system is further enhanced by an Execution Memory component that stores historical API execution data for contextual consistency. We conduct extensive experiments across 12 real-world REST systems, demonstrating that LogiAgent effectively identifies 234 logical issues with an accuracy of 66.19%. Additionally, it basically excels in detecting server crashes and achieves superior test coverage compared to four state-of-the-art REST API testing tools. An ablation study confirms the significant contribution of LogiAgent's memory components to improving test coverage.
• Abstract（参考訳）: REST APIの自動テストは、現代的なWebサービスの正確性と信頼性を保証するために欠かせないものになっています。 既存のアプローチは主にサーバのクラッシュやエラーコードの検出に重点を置いているが、ビジネスロジックとドメイン固有の要件の進化によって生じる論理的な問題を見落としていることが多い。 この制限に対処するため、RESTシステムの論理的テストのための新しいアプローチであるLogiAgentを提案する。 大規模な言語モデル(LLM)駆動のマルチエージェントフレームワークに基づいて、LogiAgentはTest Scenario Generator、API Request Executor、API Response Validatorを統合して、APIテストシナリオを共同で生成、実行、検証する。 5xxのようなステータスコードにフォーカスする従来のテストメソッドとは異なり、LogiAgentはビジネスロジックに基づいた応答評価の論理的オラクルを導入し、より包括的なテストを保証する。 このシステムは、過去のAPI実行データをコンテキスト整合性のために格納するExecution Memoryコンポーネントによってさらに強化される。 私たちは12の現実世界のRESTシステムに対して広範な実験を行い、LogiAgentが66.19%の精度で234の論理的問題を効果的に特定していることを示した。 さらに、基本的にはサーバのクラッシュの検出に優れ、最先端のREST APIテストツール4つと比較してテストカバレッジが優れている。 アブレーション調査では、LogiAgentのメモリコンポーネントがテストカバレッジ向上に大きく貢献していることが確認されている。

関連論文リスト

• Utilizing API Response for Test Refinement [2.8002188463519944]
  本稿では,応答メッセージを利用した動的テスト改善手法を提案する。 インテリジェントエージェントを使用すると、テストシナリオを生成するためにさらに使用されるAPI仕様に制約が追加される。 提案されたアプローチは、4xxレスポンスの数を減少させ、より現実的なテストケースを生成するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2025-01-30T05:26:32Z)
• AutoRestTest: A Tool for Automated REST API Testing Using LLMs and MARL [46.65963514391019]
  AutoRestTestは、Semantic Property Dependency Graph(SPDG)とMARL(Multi-Agent Reinforcement Learning)と大規模言語モデル(LLM)を統合して、効果的なREST APIテストを可能にする新しいツールである。
  論文  参考訳（メタデータ） (2025-01-15T05:54:33Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのカスタムLCMを使って現実的なテストインプットを生成する新しいアプローチである。 LlamaRestTestは、RESTGPTで強化された仕様でさえ、コードカバレッジとエラー検出において最先端のツールを上回っている。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
  私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。 このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。 12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
  論文  参考訳（メタデータ） (2024-11-11T16:20:27Z)
• AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
  LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。 以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
  論文  参考訳（メタデータ） (2024-11-02T13:24:30Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• COTS: Connected OpenAPI Test Synthesis for RESTful Applications [0.0]
  OpenAPI仕様のための(i)ドメイン固有言語を導入し、(ii)方法論をサポートするツールを導入します。 私たちのツールはCOTSと呼ばれ、(ランダムに)モデルベースのテスト実行を生成し、ソフトウェア欠陥を報告します。
  論文  参考訳（メタデータ） (2024-04-30T15:12:31Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。