論文の概要: SWEOps-Bench: Evaluating Agents for End-to-End Resolution of Software-Induced Cloud Incidents
- arxiv url: http://arxiv.org/abs/2611.06099v1
- Date: Wed, 04 Nov 2026 07:43:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.016483
- Title: SWEOps-Bench: Evaluating Agents for End-to-End Resolution of Software-Induced Cloud Incidents
- Title（参考訳）: SWEOps-Bench: ソフトウェアによるクラウドインシデントのエンドツーエンド解決のためのエージェントの評価
- Abstract要約: 既存のベンチマークでは、独立した診断クエリやリポジトリレベルのプログラム修復が評価されている。
55の再現可能なインシデントタスクからなる対話型ベンチマークであるSWEOps-Benchを紹介する。
評価は、段階的精度、検証されたリカバリ、ペナル化されたライフサイクル遅延、トークン消費をカバーしている。
- 参考スコア（独自算出の注目度）: 6.335438487765228
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As autonomous agents advance, the traditional boundary between software development and cloud operations gradually blurs, increasing the need for integrated incident detection, localization, and remediation. Existing benchmarks evaluate isolated diagnostic queries or repository-level program repair, failing to test continuous incident resolution across operational clusters and source repositories. We introduce SWEOps-Bench, an interactive benchmark comprising 55 reproducible incident tasks derived from confirmed historical defects across 16 Kubernetes operator projects. Each task preserves the original software repository and initializes in a healthy cluster before a controlled workload triggers the historical fault. Agents investigate runtime evidence and submit source or configuration repairs through a terminal interface, while the harness builds and deploys the changes within a shared time budget. Evaluation covers stage-wise accuracy, verified recovery, penalized lifecycle latency, and token consumption. Across six agent-model configurations, faulty-state detection ranges from 72.7% to 90.9%, whereas overall recovery ranges from only 14.5% to 52.7%, exposing a substantial gap between recognizing incidents and resolving them end to end. Trajectory analysis further shows that reported diagnosis and final recovery only partially coincide: some tasks achieve verified recovery despite an incorrect reported RCA, while runtime symptom clearance can still fail fix-specific functional verification. SWEOps-Bench establishes a rigorous foundation for evaluating autonomous agents in integrated development and operational environments.
- Abstract（参考訳）: 自律エージェントが進むにつれて、ソフトウェア開発とクラウドオペレーションの伝統的な境界は徐々に曖昧になり、統合されたインシデント検出、ローカライゼーション、修復の必要性が高まっます。
既存のベンチマークでは、分離された診断クエリやリポジトリレベルのプログラム修復を評価し、運用クラスタとソースリポジトリ間で継続的インシデント解決のテストに失敗している。
SWEOps-Benchは、16のKubernetesオペレータープロジェクト間で確認された歴史的欠陥から派生した55の再現可能なインシデントタスクからなる、インタラクティブなベンチマークである。
各タスクは元のソフトウェアリポジトリを保持し、コントロールされたワークロードが過去の障害を引き起こす前に、正常なクラスタで初期化する。
エージェントは実行時のエビデンスを調査し、端末インターフェースを通じてソースまたは設定の修復を送信し、ハーネスは共有時間予算内で変更をビルドし、デプロイする。
評価は、段階的精度、検証されたリカバリ、ペナル化されたライフサイクル遅延、トークン消費をカバーしている。
6つのエージェントモデル構成全体では、故障状態の検出範囲は72.7%から90.9%まで、全体の回復範囲は14.5%から52.7%に留まり、インシデントを認識してそれを終端に解決する間に大きなギャップが生じる。
トラジェクトリ分析は、報告された診断と最終的な回復は部分的に一致している: いくつかのタスクは、不正な報告されたRCAにもかかわらず、検証された回復を達成するが、実行時症状のクリアランスは、まだ修正固有の機能検証を失敗する可能性がある。
SWEOps-Benchは、統合開発および運用環境で自律エージェントを評価するための厳格な基盤を確立する。
関連論文リスト
- DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks [9.633214898702414]
マルチステージ分析タスクでは、エージェントが継続、リダイレクト、停止を判断する必要がある。
私たちはその能力を自己規制と呼ぶ。
DMAIC-Benchは、4つのセクターで15の産業ケースで97のシードタスクで評価している。
論文 参考訳（メタデータ） (2026-10-23T08:04:10Z) - From Trace to Fix: Residual Task State in Long-Horizon Agents [48.005521427284584]
TRACE-FIXは、バージョン管理された残タスク状態を中心とした統合リカバリフレームワークである。
我々はLongH-Debugを提案し、ルート原因の属性、検証されたフォールトリカバリ、エンドツーエンドのクローズドループ実行を独立して評価した。
論文 参考訳（メタデータ） (2026-10-19T04:41:38Z) - BRIDGE: Selective Boundary Repair with Dependency Graph Evidence in Multi-Agent Systems [59.26551527044981]
methodは、ハンドオフ修復を明示的な依存性の摂動に対する選択的介入として扱うランタイム制御フレームワークである。
SILO-BENCHでは12.3パーセンテージ、TeamBenchでは11.1ポイントまでタスクの成功を加速させる。
論文 参考訳（メタデータ） (2026-10-13T06:31:57Z) - ResonAct: Streaming Metrics for Runtime Diagnosis and Self-Healing in Multi-Agent Systems [7.777663013568655]
本稿では,マルチエージェントシステムの継続的監視,診断,修復を可能にするランタイム自己修復フレームワークであるResonActを紹介する。
ResonActは、実行トレース、エージェントインタラクション、ツール呼び出しをストリーミング分析層に取り込みます。
フレームワークは外部コントロールプレーンとして動作し、アプリケーションエージェントやオーケストレーションロジックを変更することなく介入を可能にする。
論文 参考訳（メタデータ） (2026-09-28T09:18:24Z) - MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
MeshHealは、完全に分散化された自己修復フレームワークである。
能力にマッチしたピアレビューを2つのタイムスケールに分けている。
1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
論文 参考訳（メタデータ） (2026-09-24T04:29:37Z) - Self-Healing Agentic Orchestrators for Reliable Tool-Augmented Large Language Model Systems [0.10210859604701106]
セルフヒーリングエージェントオーケストレータは、信頼性をランタイム境界制御問題として扱う。
セルフヒーリングは98.8%のタスク成功を達成し、リトライオンリーでは94.5%、フルリプランでは93.8%を達成している。
論文 参考訳（メタデータ） (2026-05-31T19:27:22Z) - How Coding Agents Fail Their Users: A Large-Scale Analysis of Developer-Agent Misalignment in 20,574 Real-World Sessions [16.8655550230265]
私たちは、開発者のプッシュバックを通じて見通せるように、誤った調整を運用しています。
エージェントがプロジェクトを読み、開発者意図を解釈し、ルールに従い、アクションをバウンドし、コードを実装し、実行し、進捗を報告する7つの繰り返しフォームを特定します。
本研究は,実際の開発者とコーディングエージェントの整合性を維持するためのトレーニング,評価,インターフェースの設計について報告する。
論文 参考訳（メタデータ） (2026-05-28T06:35:39Z) - ClawForge: Generating Executable Interactive Benchmarks for Command-Line Agents [59.626170560327274]
textbfClawForgeは、ステートコンフリクト下で実行可能なコマンドラインカテゴリのためのジェネレータベースのベンチマークフレームワークである。
私たちはこのフレームワークをClawForge-Bench(17のシナリオ、6の能力カテゴリ)としてインスタンス化します。
論文 参考訳（メタデータ） (2026-05-13T21:34:08Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。