論文の概要: SRE-Marathon: A Continuous, Change-Driven Benchmark for Autonomous Site Reliability Agents
- arxiv url: http://arxiv.org/abs/2609.33023v1
- Date: Sat, 26 Sep 2026 23:43:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 11:05:10.375627
- Title: SRE-Marathon: A Continuous, Change-Driven Benchmark for Autonomous Site Reliability Agents
- Title（参考訳）: SRE-Marathon: 自律的なサイト信頼性エージェントのための継続的変更駆動ベンチマーク
- Abstract要約: SRE-Marathonは連続SRE動作のベンチマークである。
Marathon-Scoreは、相関、ローカライゼーション、修復を通じて、各インジェクトされた障害を順に進行させる。
- 参考スコア（独自算出の注目度）: 7.50492220949434
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmarks for site reliability engineering (SRE) agents are typically episodic: one fault is injected, the agent receives an incident task, and its response is scored. Production operation is not. Incidents surface through noisy alerts, overlap in time, and often originate from code or configuration changes. We present SRE-Marathon, a benchmark for long-horizon, continuous SRE operation. An agent is invoked at a fixed cadence with cumulative alert history and a persistent workspace while operating a live two-zone Kubernetes deployment as a fault orchestrator injects overlapping faults according to a seeded, production-calibrated schedule. Curated code and configuration changes deployed through the same build pipeline available for repair. Each run is recorded into a sealed bundle and scored offline: Marathon-Score credits each injected fault for ordered progress through correlation, localization, and repair, with all metrics computed deterministically from recorded system evidence. Across three applications and about sixty faults per run, the best of 10 methods reaches only 41.3 out of 100. Agents often correlate and localize faults, but almost never complete repairs while the faults remain active.
- Abstract（参考訳）: サイト信頼性エンジニアリング(SRE)エージェントのベンチマークは通常、エピソジックで、1つの障害が注入され、エージェントがインシデントタスクを受け取り、その応答がスコアされる。
生産は行わない。
インシデントはノイズの多いアラートを通じて表面化し、時間内に重複し、しばしばコードや設定の変更から発生します。
本稿では,長期連続SRE動作のベンチマークであるSRE-Marathonを提案する。
障害オーケストレータとしてライブの2ゾーンKubernetesデプロイメントを操作しながら、累積的なアラート履歴と永続的なワークスペースを備えた固定されたケイデンスでエージェントが起動され、シード化されたプロダクションキャリブレーションされたスケジュールに従って重なり合う障害が注入される。
コンパイル済みのコードと設定の変更は、同じビルドパイプラインを通じてデプロイされ、修復することができる。
Marathon-Scoreは、記録されたシステム証拠から決定的に計算されたすべてのメトリクスとともに、相関、ローカライゼーション、修復を通じて順に進行するために、各障害を注入する。
3つのアプリケーションと60の障害に対して、ベスト10のメソッドは100のうち41.3にしか達しない。
エージェントは、しばしば断層を関連付け、位置付けするが、断層が活動している間はほとんど修理を完了しない。
関連論文リスト
- ResonAct: Streaming Metrics for Runtime Diagnosis and Self-Healing in Multi-Agent Systems [7.777663013568655]
本稿では,マルチエージェントシステムの継続的監視,診断,修復を可能にするランタイム自己修復フレームワークであるResonActを紹介する。
ResonActは、実行トレース、エージェントインタラクション、ツール呼び出しをストリーミング分析層に取り込みます。
フレームワークは外部コントロールプレーンとして動作し、アプリケーションエージェントやオーケストレーションロジックを変更することなく介入を可能にする。
論文 参考訳（メタデータ） (2026-09-28T09:18:24Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - MeshHeal: Two-Timescale Self-Healing for Gray Failures in Decentralized LLM Agent Networks [60.95806999869478]
MeshHealは、完全に分散化された自己修復フレームワークである。
能力にマッチしたピアレビューを2つのタイムスケールに分けている。
1タスクあたり51kのトータルモデルトークンを使用して0.839の劣化位相精度を達成し、最強のベースラインでは1タスクあたり115kの0.807の精度を達成した。
論文 参考訳（メタデータ） (2026-09-24T04:29:37Z) - ClawProBench: Trace-Aware Evaluation of AI Agents with Runtime Coverage and Frozen Workplace-Style Holdouts [0.0]
エージェントベンチマークは、エージェントがステートフルランタイム上で実行されている場合でも、最終回答のみを評価することが多い。
OpenClaw上でインスタンス化されたランタイムネイティブエージェント評価のためのトレース対応ベンチマークであるClawProBenchを提案する。
論文 参考訳（メタデータ） (2026-08-23T17:09:02Z) - SCOUT: Symmetric Consensus Outlier Detection for Failure Localization in LLM Pre-Training [7.018753691717986]
事前トレーニングでは、同期は、ランクローカルなストール、スローダウン、数値的なエラーをジョブワイドな症状へと伝播し、その起源を隠蔽する。
SCOUTは1つの設計原則に基づいて構築された統一型ランタイム障害局所化フレームワークである。
SCOUTはトレーニングループやフレームワークソースの変更なしに、PyTorch、TorchTitan、Megatron-Core、DeepSpeedと統合されている。
論文 参考訳（メタデータ） (2026-08-11T15:12:14Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - Your Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [60.79651380135334]
長寿命のAIエージェントは、永続的な運用システムとしてますますデプロイされる。
エージェントはデプロイ後、いつまで信頼できるのか?
エージェントライフスパンエンジニアリングのための縦型信頼性ベンチマークであるAgingBenchを紹介する。
論文 参考訳（メタデータ） (2026-05-25T19:55:12Z) - ContraFix: Agentic Vulnerability Repair via Differential Runtime Evidence and Skill Reuse [10.503895811137095]
大規模言語モデル(LLM)エージェントは、自動脆弱性修復にますます利用されている。
最近の実証的な結果は、これらのエージェントがいまだに現実世界の脆弱性と戦っていることを示している。
ContraFixは、再利用可能な修復スキルとランタイムエビデンスを結合するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-05-17T13:48:25Z) - ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。
現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。
最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
論文 参考訳（メタデータ） (2026-04-26T16:05:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。