論文の概要: Combining Static and Dynamic Approaches for Mining and Testing Constraints for RESTful API Testing

• arxiv url: http://arxiv.org/abs/2504.17287v1
• Date: Thu, 24 Apr 2025 06:28:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.271981
• Title: Combining Static and Dynamic Approaches for Mining and Testing Constraints for RESTful API Testing
• Title（参考訳）: RESTful APIテストのためのマイニングとテストの静的アプローチと動的アプローチを組み合わせる
• Authors: Hieu Huynh, Tri Le, Vu Nguyen, Tien N. Nguyen,
• Abstract要約: 本稿では,新しい静的解析手法(APIレスポンスボディの制約をAPI仕様から抽出する)と動的アプローチを組み合わせることを提案する。 大きな言語モデル(LLM)を活用して、API仕様を理解し、レスポンスボディの制約をマイニングし、テストケースを生成します。 また、生成されたテストケースを使用して、実世界の8つのAPIに対して、API仕様と実際のレスポンスデータとの間の21のミスマッチを検出します。
• 参考スコア（独自算出の注目度）: 8.972346309150199
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In API testing, deriving logical constraints on API response bodies is crucial in generating the test cases to cover various aspects of RESTful APIs. However, existing approaches are limited to dynamic analysis in which constraints are extracted from the execution of APIs as part of the system under test. The key limitation of such a dynamic approach is its under-estimation in which inputs in API executions are not sufficiently diverse to uncover actual constraints on API response bodies. In this paper, we propose to combine a novel static analysis approach (in which the constraints for API response bodies are mined from API specifications), with the dynamic approach (which relies on API execution data). We leverage large language models (LLMs) to comprehend the API specifications, mine constraints for response bodies, and generate test cases. To reduce LLMs' hallucination, we apply an Observation-Confirmation (OC) scheme which uses initial prompts to contextualize constraints. %, allowing subsequent prompts to more accurately confirm their presence. Our empirical results show that~LLMs with OC prompting achieve high precision in constraint mining with the average of 91.2%. When combining static and dynamic analysis, our tool, RBCTest , achieves a precision of 78.5%. RBCTest detects 107 constraints that the dynamic approach misses and 46 more precise constraints. We also use its generated test cases to detect 21 mismatches between the API specification and actual response data for 8 real-world APIs. Four of the mismatches were, in fact, reported in developers' forums.
• Abstract（参考訳）: APIテストでは、RESTful APIのさまざまな側面をカバーするために、APIレスポンスボディの論理的制約を導出することがテストケースを生成する上で重要である。 しかし、既存のアプローチは、テスト中のシステムの一部としてAPIの実行から制約を抽出する動的解析に限られている。 このような動的アプローチの鍵となる制限は、API実行中のインプットが、APIレスポンスボディの実際の制約を明らかにするのに十分な多様性を持っていない、という過小評価である。 本稿では,新しい静的解析手法(APIレスポンスボディの制約をAPI仕様から抽出する)と動的アプローチ(API実行データに依存する)を組み合わせることを提案する。 大きな言語モデル(LLM)を活用して、API仕様を理解し、レスポンスボディの制約をマイニングし、テストケースを生成します。 LLMの幻覚を軽減するために,制約の文脈化に初期的プロンプトを使用する観測確認方式(OC)を適用した。 %であり,その後のプロンプトでその存在をより正確に確認することができた。 実験の結果, OCを併用したLLMは, 平均91.2%の制約採掘において高い精度を達成できた。 静的解析と動的解析を組み合わせると、我々のツールRBCTestは78.5%の精度を達成する。 RBCTestは、ダイナミックアプローチが見逃している107の制約と、より正確な46の制約を検出する。 また、生成されたテストケースを使用して、実世界の8つのAPIに対して、API仕様と実際のレスポンスデータとの間の21のミスマッチを検出します。 4つのミスマッチは、実際には開発者フォーラムで報告されている。

関連論文リスト

• Test Amplification for REST APIs via Single and Multi-Agent LLM Systems [1.6499388997661122]
  単一エージェントとマルチエージェントのLLMシステムがREST APIテストスイートを増幅する方法について示す。 評価では、APIカバレッジの向上、テスト中のAPIの多数のバグの特定、および両アプローチの計算コストとエネルギー消費に関する洞察を示す。
  論文  参考訳（メタデータ） (2025-04-10T20:19:50Z)
• LLM-assisted Mutation for Whitebox API Testing [40.91007243855959]
  MioHintは、LLM(Large Language Model)のコード理解機能を活用して、APIテストを促進する、新しいホワイトボックスAPIテストアプローチである。 提案手法の有効性を評価するため,16の実世界のAPIサービスを対象に実験を行った。
  論文  参考訳（メタデータ） (2025-04-08T07:14:51Z)
• Utilizing API Response for Test Refinement [2.8002188463519944]
  本稿では,応答メッセージを利用した動的テスト改善手法を提案する。 インテリジェントエージェントを使用すると、テストシナリオを生成するためにさらに使用されるAPI仕様に制約が追加される。 提案されたアプローチは、4xxレスポンスの数を減少させ、より現実的なテストケースを生成するための一歩を踏み出した。
  論文  参考訳（メタデータ） (2025-01-30T05:26:32Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。 私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。 私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• ExploraCoder: Advancing code generation for multiple unseen APIs via planning and chained exploration [70.26807758443675]
  ExploraCoderはトレーニング不要のフレームワークで、大規模な言語モデルにコードソリューションで見えないAPIを呼び出す権限を与える。 ExploraCoderは,事前のAPI知識を欠いたモデルのパフォーマンスを著しく向上させ,NAGアプローチの11.24%,pass@10の事前トレーニングメソッドの14.07%を絶対的に向上させることを示す。
  論文  参考訳（メタデータ） (2024-12-06T19:00:15Z)
• A Multi-Agent Approach for REST API Testing with Semantic Graphs and LLM-Driven Inputs [46.65963514391019]
  私たちは、REST APIテストに依存性組み込みのマルチエージェントアプローチを採用する最初のブラックボックスツールであるAutoRestTestを紹介します。 このアプローチでは、REST APIテストを分離可能な問題として扱い、4人のエージェントがAPI探索を最適化するために協力します。 12の現実世界のRESTサービス上でのAutoRestTestの評価は、主要な4つのブラックボックスREST APIテストツールよりも優れています。
  論文  参考訳（メタデータ） (2024-11-11T16:20:27Z)
• DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
  本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。 深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。 実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-16T08:03:55Z)
• FANTAstic SEquences and Where to Find Them: Faithful and Efficient API Call Generation through State-tracked Constrained Decoding and Reranking [57.53742155914176]
  APIコール生成は、大規模言語モデルのツール使用能力の基盤となっている。 既存の教師付きおよびコンテキスト内学習アプローチは、高いトレーニングコスト、低いデータ効率、APIドキュメントとユーザの要求に反する生成APIコールに悩まされる。 本稿では,これらの制約に対処するため,FANTASEと呼ばれる出力側最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-18T23:44:02Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。