論文の概要: SATORI: Static Test Oracle Generation for REST APIs

• arxiv url: http://arxiv.org/abs/2508.16318v1
• Date: Fri, 22 Aug 2025 11:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.376813
• Title: SATORI: Static Test Oracle Generation for REST APIs
• Title（参考訳）: SATORI: REST APIの静的テストOracle生成
• Authors: Juan C. Alonso, Alberto Martin-Lopez, Sergio Segura, Gabriele Bavota, Antonio Ruiz-Cortés,
• Abstract要約: 本稿では、REST APIのテストオーラクルを生成するブラックボックスアプローチであるSATORI(Static API Test ORacle Inference)を紹介する。 SATORIは、大きな言語モデルを使用して、OpenAPI仕様を分析して、APIの期待される振る舞いを推測する。 SATORIは,操作毎に最大数百の有効なオーラクルを自動生成可能であることを示す。
• 参考スコア（独自算出の注目度）: 9.848517409976965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: REST API test case generation tools are evolving rapidly, with growing capabilities for the automated generation of complex tests. However, despite their strengths in test data generation, these tools are constrained by the types of test oracles they support, often limited to crashes, regressions, and noncompliance with API specifications or design standards. This paper introduces SATORI (Static API Test ORacle Inference), a black-box approach for generating test oracles for REST APIs by analyzing their OpenAPI Specification. SATORI uses large language models to infer the expected behavior of an API by analyzing the properties of the response fields of its operations, such as their name and descriptions. To foster its adoption, we extended the PostmanAssertify tool to automatically convert the test oracles reported by SATORI into executable assertions. Evaluation results on 17 operations from 12 industrial APIs show that SATORI can automatically generate up to hundreds of valid test oracles per operation. SATORI achieved an F1-score of 74.3%, outperforming the state-of-the-art dynamic approach AGORA+ (69.3%)-which requires executing the API-when generating comparable oracle types. Moreover, our findings show that static and dynamic oracle inference methods are complementary: together, SATORI and AGORA+ found 90% of the oracles in our annotated ground-truth dataset. Notably, SATORI uncovered 18 bugs in popular APIs (Amadeus Hotel, Deutschebahn, FDIC, GitLab, Marvel, OMDb and Vimeo) leading to documentation updates by the API maintainers.
• Abstract（参考訳）: REST APIのテストケース生成ツールは、複雑なテストの自動生成の能力を増大させながら、急速に進化しています。 しかしながら、テストデータ生成の強みにもかかわらず、これらのツールは、彼らがサポートしているテストのオーラクルの種類に制約されており、多くの場合、クラッシュ、回帰、API仕様や設計標準への準拠に制限されている。 本稿では,そのAPI仕様を分析して,REST APIのテストオーラクルを生成するブラックボックスアプローチであるSATORI(Static API Test ORacle Inference)を紹介する。 SATORIは、大きな言語モデルを使用して、その操作の応答フィールド(名前や記述など)の特性を分析して、APIの期待される振る舞いを推測する。 採用を促進するため、PostmanAssertifyツールを拡張して、SATORIが報告したテストオラクルを自動的に実行可能なアサーションに変換するようにしました。 12のインダストリアルAPIから17の操作の評価結果から,SATORIは操作毎に数百の有効なオーラクルを自動生成できることがわかった。 SATORIは74.3%のF1スコアを獲得し、最先端の動的アプローチであるAGORA+(69.3%)を上回った。 さらに, 静的および動的オラクル推論法は相補的であり, SATORI と AGORA+ の併用で, 注釈付き接地トラスデータセットのオーラクルの90%が検出された。 特にSATORIは、人気のAPI(Amadeus Hotel、Deutschebahn、FDIC、GitLab、Marvel、OMDb、Vimeo)の18のバグを発見し、APIメンテナによるドキュメント更新につながった。

関連論文リスト

• Combining Static and Dynamic Approaches for Mining and Testing Constraints for RESTful API Testing [8.972346309150199]
  本稿では,新しい静的解析手法(APIレスポンスボディの制約をAPI仕様から抽出する)と動的アプローチを組み合わせることを提案する。 大きな言語モデル(LLM)を活用して、API仕様を理解し、レスポンスボディの制約をマイニングし、テストケースを生成します。 また、生成されたテストケースを使用して、実世界の8つのAPIに対して、API仕様と実際のレスポンスデータとの間の21のミスマッチを検出します。
  論文  参考訳（メタデータ） (2025-04-24T06:28:18Z)
• Test Amplification for REST APIs via Single and Multi-Agent LLM Systems [1.6499388997661122]
  既存のREST APIテストスイートを増幅するために,単一エージェントとマルチエージェントのセットアップである大規模言語モデル(LLM)システムについて検討する。 本稿では, テストカバレッジ, バグ検出の有効性, 計算コストやエネルギー使用量など, 様々な側面における2つのアプローチの比較検討を行う。
  論文  参考訳（メタデータ） (2025-04-10T20:19:50Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。 私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。 私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• Model Equality Testing: Which Model Is This API Serving? [59.005869726179455]
  APIプロバイダは、基本モデルの定量化、透かし、微調整を行い、出力分布を変更することができる。 モデル平等テスト(Model Equality Testing)は,2サンプルテスト問題である。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。
  論文  参考訳（メタデータ） (2024-10-26T18:34:53Z)
• DeepREST: Automated Test Case Generation for REST APIs Exploiting Deep Reinforcement Learning [5.756036843502232]
  本稿では、REST APIを自動テストするための新しいブラックボックスアプローチであるDeepRESTを紹介します。 深い強化学習を活用して、暗黙のAPI制約、すなわちAPIドキュメントから隠された制約を明らかにする。 実験により,提案手法は高いテストカバレッジと故障検出を実現する上で極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-16T08:03:55Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Exploring Behaviours of RESTful APIs in an Industrial Setting [0.43012765978447565]
  これらのAPIが示す振る舞いの例を生成するために,REST APIに共通する一連の動作特性を提案する。 これらの例は、APIの理解を深めるために(i)、自動テストケースのソースとして(ii)の両方に使用することができます。 提案手法は,システム理解と実践者によるテスト生成の源泉として考えられる例を生成することができる。
  論文  参考訳（メタデータ） (2023-10-26T11:33:11Z)
• Adaptive REST API Testing with Reinforcement Learning [54.68542517176757]
  現在のテストツールは効率的な探索機構がなく、全ての操作とパラメータを等しく扱う。 現在のツールは、仕様にレスポンススキーマがない場合や、変種を示す場合に苦労している。 我々は、強化学習を取り入れた適応型REST APIテスト手法を提案し、探索中の操作を優先順位付けする。
  論文  参考訳（メタデータ） (2023-09-08T20:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。