論文の概要: RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2607.23963v1
- Date: Mon, 27 Jul 2026 03:20:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.296558
- Title: RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning
- Title（参考訳）: RESTOR: 強化学習によるRESTful APIの自動テストOracle生成
- Abstract要約: Restorは、ブラックボックスの設定で単一のリクエスト-レスポンスペアから実行可能なテストアサーションを生成するフレームワークである。
実世界の246のサービスにまたがる2,300以上のAPIトレースからなる産業データセット上でRestorを評価する。
- 参考スコア（独自算出の注目度）: 21.927343858709122
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern REST API testing faces a critical challenge in defining reliable test oracles, particularly in agile industrial environments where formal specifications (e.g., OpenAPI) are frequently missing or outdated, and historical execution logs are unavailable for newly deployed endpoints. In this paper, we present Restor (Reinforcement Enhanced Single-Traffic Oracle generator for REST APIs), a framework that generates executable test assertions from a single observed request-response pair in a black-box setting. Unlike existing approaches that rely on rule-based templates or massive training logs, Restor utilizes a novel data augmentation pipeline to fine-tune a lightweight Large Language Model (LLM) via Group Relative Policy Optimization (GRPO). This training process enables the model to internalize testing "common sense" by optimizing a reward function that jointly encourages: (i) the selection of stable, semantically meaningful fields for validation and the avoidance of dynamic noise (e.g., timestamps or trace IDs); (ii) the generation of robust assertions that withstand logic variations. We evaluate Restor on an industrial dataset comprising over 2,300 API traces across 246 real-world services. Comprehensive experiments demonstrate that Restor significantly outperforms prompt-engineered baselines and generalist models, achieving a superior $F_1$ score of 85.42% in key field identification and increasing the proportion of semantically accurate assertions. Furthermore, deployment in a production CI/CD workflow at ByteDance confirms its practical value: the system raised the adoption rate of automatically generated test cases from 74.1% to over 96%, substantially reducing manual Quality Assurance (QA) effort while ensuring high execution stability.
- Abstract（参考訳）: 最新のREST APIテストは、信頼性の高いテストオラクルを定義する上で重要な課題に直面している。特にアジャイルの産業環境では、正式な仕様(例えば、OpenAPI)が頻繁に欠落したり時代遅れになったり、新しくデプロイされたエンドポイントでは過去の実行ログが利用できない。
本稿では、ブラックボックス設定で単一の要求応答対から実行可能なテストアサーションを生成するフレームワークであるRestor(Reinforcement Enhanced Single-Traffic Oracle Generator for REST API)を提案する。
ルールベースのテンプレートや大規模なトレーニングログに依存する既存のアプローチとは異なり、Restorは、新しいデータ拡張パイプラインを使用して、グループ相対ポリシー最適化(GRPO)を介して軽量なLarge Language Model(LLM)を微調整する。
このトレーニングプロセスにより、モデルが共同で奨励する報酬関数を最適化することで、"常識"のテストの内部化が可能になる。
一 動的騒音(例えば、タイムスタンプ又はトレースID)の検証及び回避のための安定で意味のある分野の選択
(ii)論理の変動に耐える堅牢なアサーションの生成。
実世界の246のサービスにまたがる2,300以上のAPIトレースからなる産業データセット上でRestorを評価する。
総合的な実験により、Restorはプロンプトエンジニアリングされたベースラインとジェネラリストモデルを大幅に上回り、キーフィールドの識別において85.42%のF_1$スコアを達成し、意味論的に正確なアサーションの割合を増加させた。
さらに、ByteDanceのプロダクションCI/CDワークフローへのデプロイは、その実用的価値を確認している。システムは、自動生成されたテストケースの採用率を74.1%から96%以上に引き上げ、手動品質保証(QA)の労力を大幅に削減し、高い実行安定性を確保した。
関連論文リスト
- Industrial Practice of LLM-Based Test Case Carving and Assertion Generation (Experience Paper) [14.766370287473519]
本稿では、自然言語シナリオから実行可能なAPI回帰テストを生成するエンドツーエンドのアプローチとツールであるNL2Testを提案する。
NL2Testはテストケースの彫刻とアサーション生成という2つの結合タスクに対処する。
大手消費者向けインターネット企業から抽出した51の産業レグレッションシナリオについてNL2Testを評価した。
論文 参考訳（メタデータ） (2026-07-27T04:52:51Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳（メタデータ） (2026-04-27T09:00:30Z) - Compiled AI: Deterministic Code Generation for LLM-Based Workflow Automation [3.225273674498579]
我々は,大言語モデルがコンパイルフェーズ中に実行可能なコードアーティファクトを生成するパラダイムであるコンパイルAIについて研究し,その後,さらなるモデル実行を必要とせずに決定的に実行する。
当社のコントリビューションは、ハイテイクなランタイムエンタープライズへの適用に関するシステム指向の研究です。
論文 参考訳（メタデータ） (2026-04-06T20:25:20Z) - ProdCodeBench: A Production-Derived Benchmark for Evaluating AI Coding Agents [10.578603956693696]
本稿では,ProdCodeBenchを用いて実運用用ベンチマークの計算手法を提案する。
それぞれのキュレートされたサンプルは、7つのプログラミング言語にまたがる冗長なプロンプト、コミットされたコード変更、フェイル・ツー・パステストで構成されている。
4つの基礎モデルの体系的な分析は、53.2%から72.2%の範囲で解決する。
論文 参考訳（メタデータ） (2026-04-02T01:52:55Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - BOSQTGEN: Breaking the Sound Barrier in Test Generation [3.052470294814771]
本稿では,新しいブラックボックスとAPIテスト生成ツールであるBOSQTGENを紹介する。
BOSQTGENは、API仕様をプリミティブに分解するための新しいアプローチ、LLMを使用してコヒーレントなインタラクションを提案し、これらの値を効率的にサンプリングするためにテストを採用する。
結果として得られたBOSQTGENシステムは、ベンチマークで平均82%のコードカバレッジを達成するが、しばしば以前の最先端システムよりも20%以上増加する。
論文 参考訳（メタデータ） (2025-10-22T17:11:30Z) - LLMShot: Reducing snapshot testing maintenance via LLMs [0.5218155982819203]
スナップショットテストは、現代のソフトウェア開発におけるUIバリデーションの重要なテクニックとして登場した。
本稿では、VLM(Vision-Language Models)を利用して、スナップショットテストの失敗を自動的に解析する新しいフレームワークであるLLMShotを紹介する。
論文 参考訳（メタデータ） (2025-07-14T08:47:19Z) - Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。
ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。
我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。
我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
論文 参考訳（メタデータ） (2025-04-07T03:57:41Z) - Thinking Longer, Not Larger: Enhancing Software Engineering Agents via Scaling Test-Time Compute [61.00662702026523]
より大規模なモデルではなく、推論時間の増加を活用する統合されたテスト時間計算スケーリングフレームワークを提案する。
当社のフレームワークには,内部TTCと外部TTCの2つの補完戦略が組み込まれている。
当社の textbf32B モデルは,DeepSeek R1 671B や OpenAI o1 など,はるかに大きなモデルを上回る 46% の課題解決率を実現している。
論文 参考訳（メタデータ） (2025-03-31T07:31:32Z) - AutoPT: How Far Are We from the End2End Automated Web Penetration Testing? [54.65079443902714]
LLMによって駆動されるPSMの原理に基づく自動浸透試験エージェントであるAutoPTを紹介する。
以上の結果から, AutoPT は GPT-4o ミニモデル上でのベースラインフレームワーク ReAct よりも優れていた。
論文 参考訳（メタデータ） (2024-11-02T13:24:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。