論文の概要: RESTberus: Trace-Aware Benchmarking of Automated REST API Testing Tools Across Microservice Dependencies

• arxiv url: http://arxiv.org/abs/2611.04769v1
• Date: Tue, 03 Nov 2026 12:13:15 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:35:32.534902
• Title: RESTberus: Trace-Aware Benchmarking of Automated REST API Testing Tools Across Microservice Dependencies
• Title（参考訳）: RESTberus: マイクロサービス依存全体を対象とした自動REST APIテストツールのトレース対応ベンチマーク
• Abstract要約: マイクロサービスシステムでは、応答体とエントリポイント操作だけでは、障害を確実に区別することはできない。 私たちは、デプロイされたマイクロサービスシステム上でREST APIテストツールをブラックボックス化するベンチマークプラットフォームであるRESTberusを紹介します。
• 参考スコア（独自算出の注目度）: 1.5516092077598491
• License:
• Abstract: Existing REST API testing benchmarks focus on isolated services, overlooking failures arising from interactions with downstream dependencies. In microservice systems, response bodies and entry-point operations alone cannot reliably distinguish failures, compromising tool comparisons. We present RESTberus, a Kubernetes-based benchmarking platform for black-box REST API testing tools on deployed microservice systems. By complementing API-level evidence with distributed traces, RESTberus can distinguish failures manifesting in the target service from those manifesting in downstream dependencies. Across six tools on two microservice benchmarks, our trace-aware deduplication strategy achieves 87.1% accuracy, outperforming baselines from prior work by 10-13 percentage points. Our empirical study shows that all tools expose downstream failures, accounting for 11.7% of estimated unique failures on average, which isolated-service benchmarks cannot expose. On single-service benchmarks, RESTberus produces statistically equivalent results to RESTgym, demonstrating that integration-level assessments can preserve compatibility with existing tools and comparability with prior evaluations.
• Abstract（参考訳）: 既存のREST APIテストベンチマークでは、ダウンストリーム依存関係とのインタラクションから発生する障害を見越して、独立したサービスに重点を置いている。 マイクロサービスシステムでは、応答体とエントリポイント操作だけでは、失敗を確実に区別することができません。 私たちは、デプロイされたマイクロサービスシステム上でREST APIテストツールをブラックボックスにするための、KubernetesベースのベンチマークプラットフォームであるRESTberusを紹介します。 APIレベルのエビデンスを分散トレースで補完することにより、RESTberusは、ターゲットサービスに現れる障害と、下流の依存関係に現れる障害を区別することができる。 2つのマイクロサービスベンチマーク上の6つのツールで、トレース対応の重複防止戦略は87.1%の精度を実現し、以前の作業から10～13ポイントのベースラインを上回ります。 私たちの経験的調査では、すべてのツールがダウンストリーム障害を公開しており、平均的なユニークな障害の11.7%を占めています。 シングルサービスベンチマークでは、RESTberusが統計的にRESTgymと同等の結果を生成し、統合レベルアセスメントが既存のツールとの互換性と事前評価との互換性を維持することを実証している。

関連論文リスト

• Efficient SWE Agent Benchmarking via Trajectory-Aware Evaluation [46.74484954631231]
  プロセスと結果信号を融合するPTA-IRTを提案する。 低キャリブレーションの予算の下では、PTA-IRTは4つのSWEベンチマークのスコアとランキングのリカバリでIRT以前のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-01T17:59:46Z)
• RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning [21.927343858709122]
  Restorは、ブラックボックスの設定で単一のリクエスト-レスポンスペアから実行可能なテストアサーションを生成するフレームワークである。 実世界の246のサービスにまたがる2,300以上のAPIトレースからなる産業データセット上でRestorを評価する。
  論文  参考訳（メタデータ） (2026-07-27T03:20:28Z)
• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• DEP: A Decentralized Large Language Model Evaluation Protocol [51.3646001384887]
  分散評価プロトコル(Decentralized Evaluation Protocol, DEP)は、分散化されているが統一され、標準化された評価フレームワークである。 ユーザ、LLM、ベンチマークを分離することで、DEPはモジュラー、プラグ・アンド・プレイの評価を可能にする。 我々は,ブレークポイントの再開,同時要求,混雑制御などの機能をサポートするプロトコル互換ツールキットであるDEP Toolkitを開発した。
  論文  参考訳（メタデータ） (2026-03-01T16:10:16Z)
• When Benchmarks Lie: Evaluating Malicious Prompt Classifiers Under True Distribution Shift [0.0]
  有害なリクエスト、ジェイルブレイク、間接的なプロンプトインジェクション、抽出攻撃にまたがる18のデータセットのベンチマークを用いて、包括的な分析を行う。 我々は,真のアウト・オブ・ディストリビューションの一般化を評価するために,LODO(Leave-One-Dataset-Out)評価を提案する。
  論文  参考訳（メタデータ） (2026-02-15T14:21:43Z)
• MSC-Bench: A Rigorous Benchmark for Multi-Server Tool Orchestration [0.0]
  MSC-Benchは、LLMエージェントによるマルチホップ、エンドツーエンドのツールオーケストレーションを評価するための大規模なベンチマークである。 これは「等式集合」を通じて基底真理を構築することでギャップに対処し、F1スコアのような客観的なメトリクスを可能にする。 シングルツールオーケストレーションから複雑なクロスサーバ計画、スコープ外要求に対する堅牢性まで、エージェント機能を体系的にテストする。
  論文  参考訳（メタデータ） (2025-10-22T09:45:11Z)
• LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
  LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。 私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。 私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
  論文  参考訳（メタデータ） (2025-01-15T05:51:20Z)
• MicroRes: Versatile Resilience Profiling in Microservices via Degradation Dissemination Indexing [29.456286275972474]
  マイクロサービスのレジリエンス — 障害から回復し、信頼性と応答性を備えたサービスを提供し続ける能力 — は、クラウドベンダにとって極めて重要です。 現在のプラクティスは、特定のマイクロサービスシステムに手動で設定された特定のルールに依存しており、結果として労働強度と柔軟性の問題が発生します。 私たちの洞察では、レジリエントなデプロイメントは、システムパフォーマンスからユーザ対応メトリクスへの劣化の拡散を効果的に防ぎ、後者はサービス品質に影響を与えます。
  論文  参考訳（メタデータ） (2022-12-25T03:56:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。