論文の概要: Generating REST API Tests With Descriptive Names

• arxiv url: http://arxiv.org/abs/2512.01690v1
• Date: Mon, 01 Dec 2025 13:58:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.882261
• Title: Generating REST API Tests With Descriptive Names
• Title（参考訳）: 記述的な名前でREST APIテストを生成する
• Authors: Philip Garrett, Juan P. Galeotti, Andrea Arcuri, Alexander Poth, Olsi Rrjolli,
• Abstract要約: 本稿では、REST APIテスト名を生成するための3つの新しい決定論的手法を提案する。 合計8つのテクニックを比較して、REST APIテストの記述的な名前を生成します。 その結果、ルールに基づくアプローチは、決定論的手法の中で、最も明確な評価を達成できることが示唆された。
• 参考スコア（独自算出の注目度）: 37.67907793981048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated test generation has become a key technique for ensuring software quality, particularly in modern API-based architectures. However, automatically generated test cases are typically assigned non-descriptive names (e.g., test0, test1), which reduces their readability and hinders their usefulness during comprehension and maintenance. In this work, we present three novel deterministic techniques to generate REST API test names. We then compare eight techniques in total for generating descriptive names for REST API tests automatically produced by the fuzzer EvoMaster, using 10 test cases generated for 9 different open-source APIs. The eight techniques include rule-based heuristics and large language model (LLM)-based approaches. Their effectiveness was empirically evaluated through two surveys (involving up to 39 people recruited via LinkedIn). Our results show that a rule-based approach achieves the highest clarity ratings among deterministic methods, performs on par with state-of-the-art LLM-based models such as Gemini and GPT-4o, and significantly outperforms GPT-3.5. To further evaluate the practical impact of our results, an industrial case study was carried out with practitioners who actively use EvoMaster at Volkswagen AG. A developer questionnaire was then carried out based on the use of EvoMaster on four different APIs by four different users, for a total of 74 evaluated test cases. Feedback from practitioners further confirms that descriptive names produced by this approach improve test suite readability. These findings highlight that lightweight, deterministic techniques can serve as effective alternatives to computationally expensive and security-sensitive LLM-based approaches for automated system-level test naming, providing a practical step toward more developer-friendly API test generation.
• Abstract（参考訳）: 自動テスト生成は、特に現代的なAPIベースのアーキテクチャにおいて、ソフトウェア品質を保証する重要なテクニックになっています。 しかし、自動生成されたテストケースは通常、非記述的な名前(例えば、test0、test1)が割り当てられる。 本稿では、REST APIテスト名を生成するための3つの新しい決定論的手法を提案する。 次に、9つの異なるオープンソースAPIで生成された10のテストケースを使用して、ファザーEvoMasterによって自動生成されるREST APIテストの記述名を生成するための合計8つのテクニックを比較します。 8つのテクニックにはルールベースのヒューリスティックスと大規模言語モデル(LLM)ベースのアプローチが含まれる。 それらの効果は、2つの調査(最大39人がLinkedIn経由で採用されている)を通じて実証的に評価された。 この結果から,ルールベースアプローチは決定論的手法の中で最高の明瞭度評価を達成し,ジェミニやGPT-4oといった最先端のLCMモデルと同等に動作し,GPT-3.5よりも優れていた。 EvoMasterを積極的に活用するVolkswagen AGの実践者を対象に,本研究の実践的影響を更に評価するため,産業ケーススタディを行った。 次に,4つの異なるユーザによる4つのAPI上でのEvoMasterの使用に基づいて,開発者アンケートを実施し,計74の試験ケースについて検討した。 実践者からのフィードバックは、このアプローチによって生成された記述的な名前がテストスイートの可読性を改善することをさらに確認する。 これらの結果は、軽量で決定論的なテクニックが、計算コストが高く、セキュリティに敏感なLLMベースのアプローチによる自動システムレベルのテストネーミングの効果的な代替手段となり、より開発者フレンドリなAPIテスト生成に向けた実践的なステップとなることを浮き彫りにしている。

関連論文リスト

• Combining TSL and LLM to Automate REST API Testing: A Comparative Study [3.8615905456206256]
  RestTSLLMは、テスト仕様言語(TSL)とLarge Language Models(LLM)を併用して、REST APIのテストケースの自動生成を行うアプローチである。 提案したソリューションは,プロンプトエンジニアリング技術と自動パイプラインを統合して,OpenAPI仕様からテストを生成する能力に基づいて,さまざまなLSMを評価する。 その結果、最高のパフォーマンスのLSMは、一貫して堅牢でコンテキスト的に一貫性のあるREST APIテストを生成しました。
  論文  参考訳（メタデータ） (2025-09-05T23:32:35Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。 私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。 私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• KAT: Dependency-aware Automated API Testing with Large Language Models [1.7264233311359707]
  KAT(Katalon API Testing)は、APIを検証するためのテストケースを自律的に生成する、AI駆動の新たなアプローチである。 実世界の12のサービスを用いたKATの評価は、検証カバレッジを改善し、文書化されていないステータスコードを検出し、これらのサービスの偽陽性を低減できることを示している。
  論文  参考訳（メタデータ） (2024-07-14T14:48:18Z)
• Automating REST API Postman Test Cases Using LLM [0.0]
  本稿では,大規模言語モデルを用いたテストケースの自動生成手法の探索と実装について述べる。 この方法論は、テストケース生成の効率性と有効性を高めるために、Open AIの使用を統合する。 この研究で開発されたモデルは、手作業で収集したポストマンテストケースやさまざまなRest APIのインスタンスを使ってトレーニングされている。
  論文  参考訳（メタデータ） (2024-04-16T15:53:41Z)
• Leveraging Large Language Models to Improve REST API Testing [51.284096009803406]
  RESTGPTはAPI仕様を入力として、機械解釈可能なルールを抽出し、仕様内の自然言語記述からサンプルパラメータ値を生成する。 評価の結果、RESTGPTはルール抽出と値生成の両方において既存の技術よりも優れています。
  論文  参考訳（メタデータ） (2023-12-01T19:53:23Z)
• Interactive Code Generation via Test-Driven User-Intent Formalization [60.90035204567797]
  大きな言語モデル(LLM)は、非公式な自然言語(NL)の意図からコードを生成する。 自然言語は曖昧であり、形式的な意味論が欠けているため、正確性の概念を定義するのは難しい。 言語に依存しない抽象アルゴリズムと具体的な実装TiCoderについて述べる。
  論文  参考訳（メタデータ） (2022-08-11T17:41:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。