論文の概要: SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
- arxiv url: http://arxiv.org/abs/2609.26777v1
- Date: Tue, 22 Sep 2026 17:54:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.777924
- Title: SWE-Serve: Benchmarking Agentic Engineering For Production Inference Serving
- Title（参考訳）: SWE-Serve: プロダクション推論のためのベンチマークエージェントエンジニアリング
- Abstract要約: SWE-Serveは、プロダクション推論エンジニアリングタスクのエージェントを評価するためのベンチマークである。
SWE-Serveは、タスクをローカルに完了し、プロダクションの正確性を達成するための大きなギャップを露呈する。
- 参考スコア（独自算出の注目度）: 20.264552597118207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce SWE-Serve, a benchmark for evaluating agents on production inference engineering tasks. Implementing an inference feature can require coordinating multiple changes across the serving stack, including model support, runtime execution, and public APIs. Existing benchmarks provide limited coverage of production inference engineering: repository-level software engineering benchmarks do not target inference, while general terminal-agent benchmarks include only a few inference tasks. Dedicated inference benchmarks, meanwhile, focus primarily on isolated kernel generation or performance optimization rather than repository-scale production feature implementation. SWE-Serve provides 53 repository-grounded tasks derived from recent production changes to SGLang, spanning six inference engineering families. Each task executes on either CPU or a single GPU (H100) and is evaluated with hidden functional and regression tests, including, where applicable, end-to-end (E2E) serving tests and calibrated performance gates. Executable no-op and oracle controls, adversarial verifier review, and closed-book execution support task validity and evaluation integrity. Across 11 models and 31 model-effort configurations, the best-performing configuration achieves 75% mean pass@1. SWE-Serve exposes a substantial gap between completing tasks locally and achieving production correctness. On 19 tasks with end-to-end coverage, model-serving E2E tests reject roughly one-third of patches that pass every other test (45.9% under the verifier versus 69.4% with E2E tests excluded from scoring), with pass rate increasing for each model's best-performing configuration. By making the production correctness gap directly measurable, SWE-Serve enables the field to track whether future agents move beyond completing tasks locally to achieving production correctness.
- Abstract（参考訳）: 本稿では,SWE-Serveについて紹介する。
推論機能を実装するには、モデルサポート、ランタイム実行、パブリックAPIなど、サービススタック全体の複数の変更を調整する必要がある。
リポジトリレベルのソフトウェアエンジニアリングベンチマークは推論を対象とせず、一般的なターミナルエージェントベンチマークはいくつかの推論タスクしか含まない。
一方、専用の推論ベンチマークは、主にリポジトリスケールのプロダクション機能の実装よりも、カーネル生成やパフォーマンスの最適化に重点を置いている。
SWE-Serveは6つの推論エンジニアリングファミリにまたがるSGLangの最近のプロダクション変更から派生した53のリポジトリ基底タスクを提供する。
各タスクはCPUまたは1つのGPU(H100)上で実行され、対象とするエンドツーエンド(E2E)のサービステストやキャリブレーションされたパフォーマンスゲートを含む、隠れた機能および回帰テストで評価される。
Executable no-op and oracle control, adversarial verifier review, and closed-book execution support task validity and evaluation integrity。
11のモデルと31のモデル実行構成で、最高のパフォーマンス構成は75%の平均pass@1に達する。
SWE-Serveは、タスクをローカルに完了し、プロダクションの正確性を達成するための大きなギャップを露呈する。
エンドツーエンドのカバレッジを持つ19のタスクでは、モデル提供のE2Eテストは、他のテストに合格するパッチのおよそ3分の1を拒否する(検証対象の45.9%と、スコアから除外されたE2Eテストの69.4%)。
SWE-Serveは、生産の正しさギャップを直接測定可能にすることにより、将来のエージェントがタスクを完了してから生産の正しさを達成するためにローカルに移動するかどうかを追跡することができる。
関連論文リスト
- SWE-Gate: Passing Functional Tests Is Not Enough for Software Engineering Agents [63.65682461568621]
ソフトウェアエンジニアリングエージェントのためのリポジトリレベルのベンチマークであるSWE-Gateを導入し、機能的正当性とともにレビュー制約コンプライアンスを明示的に評価する。
SWE-Gateは、実際のプルリクエストレビューコメントからレビュー制約を導き、これらの制約に関するリポジトリレベルの修復インスタンスを合成する。
各インスタンスは、非準拠およびゴールドパッチとともに、機能テストと制約テストの分離を提供し、イシュー解決能力とレビュー制約コンプライアンスの明確な分離を可能にする。
論文 参考訳（メタデータ） (2026-09-03T17:53:34Z) - DuMateBench: Evaluating Autonomous Agents in Complex Real-World Workflows [69.12339622053588]
我々はDuMateBenchを紹介した。DuMateBenchは匿名化およびプライバシスクリーニングによるユーザセッションから再構築されたリアルセッションベンチマークである。
結果として得られたベンチマークは、8つの広いシナリオにまたがる200のタスクと、17のきめ細かい機能カテゴリで構成されている。
これらのタスクは、Isufficient、Unstable、Noisyの3種類の環境複雑性を注入した、分離されたDockerコンテナで実行します。
論文 参考訳（メタデータ） (2026-08-27T02:36:23Z) - LLM4LLM: Bridging Kernel Benchmarks and Real Deployment via Closed-Loop Agentic Optimization [7.393546440833148]
大規模言語モデルは、低レベルのコードとカーネル最適化のために、ますます有能なエージェントになっている。
デプロイ対応のクローズドループ最適化フレームワーク LLM4LLM を紹介する。
評価されたモデルごとにエンドツーエンドのレイテンシを改善し、A100/H100で3.91$times$/6.98$times$ometry-meanスピードアップを達成する。
論文 参考訳（メタデータ） (2026-08-22T08:12:16Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design [0.4499833362998488]
3つの評価次元を持つベンチマークスイートを導入する。
本稿では,LangGraph上に構築されたマルチエージェントシステム(MAS)の実装であるEngiAIを紹介する。
論文 参考訳（メタデータ） (2026-05-19T12:12:09Z) - SWE-fficiency: Can Language Models Optimize Real-World Repositories on Real Workloads? [22.075705411944895]
SWE-fficiencyは、実際のワークロードにおけるリポジトリレベルのパフォーマンス最適化を評価するためのベンチマークである。
私たちのスイートには、9つの広く使用されているデータサイエンス、機械学習、HPCリポジトリにわたる498のタスクが含まれています。
論文 参考訳（メタデータ） (2025-11-08T17:55:09Z) - SCUBA: Salesforce Computer Use Benchmark [63.66753028386581]
SCUBAは、Salesforceプラットフォーム内の顧客関係管理(CRM)上のコンピュータ利用エージェントを評価するために設計されたベンチマークである。
SCUBAには、実際のユーザインタビューから派生した300のタスクインスタンスが含まれており、3つの主要なペルソナ、プラットフォーム管理者、セールス担当者、サービスエージェントで構成されている。
ゼロショット設定とデモ拡張設定の両方で、多様なエージェントのセットをベンチマークします。
論文 参考訳（メタデータ） (2025-09-30T16:48:49Z) - R2E-Gym: Procedural Environments and Hybrid Verifiers for Scaling Open-Weights SWE Agents [32.06393076572057]
AgentGymは、現実世界のSWEエージェントを訓練するための、手続き的に計算された最大のジム環境である。
Syngen、合成データキュレーションのレシピ、ハイブリッドテストタイムスケーリングの2つの主要なコントリビューションによって実現されている。
提案手法は,SWE-Bench Verifiedベンチマークで51%を達成し,オープンウェイトSWEエージェントの新たな最先端性を反映した。
論文 参考訳（メタデータ） (2025-04-09T17:55:19Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。