論文の概要: A Multi-Dataset Benchmark for Evaluating LLM Agents in Microservice Failure Diagnosis
- arxiv url: http://arxiv.org/abs/2606.29193v1
- Date: Sun, 28 Jun 2026 04:38:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.828906
- Title: A Multi-Dataset Benchmark for Evaluating LLM Agents in Microservice Failure Diagnosis
- Title（参考訳）: マイクロサービス故障診断におけるLLMエージェントの評価のためのマルチデータセットベンチマーク
- Abstract要約: LLMベースのエージェントは、マイクロサービス操作をAgentOpsに変換する。
本稿では2つの大規模データセット(AIOps2025とRCA100)を推論プロセス評価パラダイムで導入する。
これら2つのデータセットは,2つの代表的なマイクロサービスシステムを対象とした,500以上の専門家ラベル付き障害ケースで構成されている。
- 参考スコア（独自算出の注目度）: 8.941814067287673
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based agents are reshaping microservice operations into AgentOps, where benchmarks are key to evaluating failure diagnosis over multimodal observability data. However, existing benchmarks remain largely outcome-oriented: they score only the final answer and fail to assess the systematic reasoning process in failure diagnosis. We address this gap by introducing two large-scale datasets (AIOps2025 and RCA100) under a reasoning-process evaluation paradigm that assesses agentic diagnostic capability along three dimensions: Localization (where the fault occurs), Identification (what type of fault it is), and Reason (whether the reasoning trace is grounded in relevant evidence). Together, the two datasets comprise over 500 expert-labeled failure cases across two representative microservice systems (HipsterShop and the OpenTelemetry Demo Store). They cover diverse fault scenarios across resource, network, runtime, middleware/database, and application-logic categories and provide fine-grained causal evidence to support agent learning and reasoning-process evaluation. Beyond scale and coverage, the datasets have been carefully labelled by domain experts and validated through large-scale competitions, supporting more than 6,000 participating teams. This makes them not only expert-labeled diagnostic datasets, but also competition-validated benchmarks for evaluating agentic failure diagnosis in real-world microservice environments. Datasets are available at https://www.aiops.cn/gitlab/aiops-live-benchmark/agenticopseval.
- Abstract（参考訳）: LLMベースのエージェントは、マイクロサービス操作をAgentOpsに変換する。
しかし、既存のベンチマークは結果指向であり、最終回答のみをスコアし、失敗診断における体系的な推論プロセスの評価に失敗している。
本稿では,2つの大規模データセット(AIOps2025とRCA100)を,局所化(障害発生箇所),同定(障害の種類),推論(原因の痕跡が関連する証拠に根拠があるかどうか)の3次元に沿ってエージェント診断能力を評価する推論プロセス評価パラダイムの下で導入することで,このギャップに対処する。
これら2つのデータセットは,2つの代表的なマイクロサービスシステム(HipsterShopとOpenTelemetry Demo Store)にわたる,500以上の専門家ラベルの障害ケースで構成されている。
リソース、ネットワーク、ランタイム、ミドルウェア/データベース、アプリケーション-論理カテゴリにまたがるさまざまな障害シナリオをカバーし、エージェント学習と推論プロセスの評価をサポートするための詳細な因果証拠を提供する。
スケールとカバレッジ以外にも、データセットはドメインの専門家によって慎重にラベル付けされ、大規模なコンペを通じて検証され、6,000以上の参加チームをサポートする。
これにより、専門家がラベル付けした診断データセットだけでなく、現実のマイクロサービス環境におけるエージェント障害診断を評価するための競合検証されたベンチマークも実現される。
データセットはhttps://www.aiops.cn/gitlab/aiops-live-benchmark/agenticopseval.comで入手できる。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Beyond Fault Localization: A Trajectory-Level Study of LLM Agents for Microservice Root Cause Analysis [13.865176720288938]
我々は,根本原因分析(RCA)の性能評価にトラジェクトリレベルのフレームワークを用いる。
回答の正しさと診断の質の間には不一致がある。
私たちはこの分類を,2段階のディフェンス・イン・ディープスアーキテクチャであるDiagGuardとして運用しています。
論文 参考訳（メタデータ） (2026-08-21T17:13:45Z) - Anomaly Detection and Root Cause Analysis for Microservice Systems [0.0]
マイクロサービスシステムは、クラウドアプリケーションを構築するために広く使われていますが、その複雑さにより、障害は避けられません。
この論文は、マイクロサービスの障害に対する自動異常検出と根本原因分析を前進させる。
論文 参考訳（メタデータ） (2026-06-08T00:50:43Z) - DataClaw: A Process-Oriented Agent Benchmark for Exploratory Real-World Data Analysis [76.98578575566184]
DataClawは、探索的実世界のデータ分析のためのプロセス指向のベンチマークである。
企業、産業、および政策ドメイン全体で約2億6600万の現実世界の記録がある。
DataClawは、エージェントがどこまで進歩し、その推論がどこで壊れるかを測定する。
論文 参考訳（メタデータ） (2026-05-04T11:57:09Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - HippoCamp: Benchmarking Contextual Agents on Personal Computers [71.97629614361549]
HippoCampは、マルチモーダルファイル管理におけるエージェントの能力を評価するために設計された新しいベンチマークである。
本ベンチマークでは,2K以上の実世界のファイルにまたがる42.4GBのデータを含む,多種多様なモダリティにまたがる実世界のプロファイルに対して,デバイススケールのファイルシステムをインスタンス化する。
論文 参考訳（メタデータ） (2026-04-01T17:58:33Z) - PJB: A Reasoning-Aware Benchmark for Person-Job Retrieval [21.108322341202815]
パーソン・ジョブマッチングは、明示的な制約を検証し、スキル・トランスファー推論とジョブ・コンピテンシー推論を実行するシステムを必要とする。
既存のベンチマークでは、このタスクの体系的な診断サポートは提供されていない。
PJB(PJB)を導入した。
論文 参考訳（メタデータ） (2026-03-18T06:08:06Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳（メタデータ） (2026-03-13T20:44:15Z) - AnoMod: A Dataset for Anomaly Detection and Root Cause Analysis in Microservice Systems [18.34761164400137]
我々は、SocialNetworkとTrainTicketという2つのオープンソースのマイクロサービスシステム上に構築された、新しいマルチモーダルな異常データセットを紹介します。
各シナリオについて、ログ、メトリクス、分散トレース、APIレスポンス、コードカバレッジレポートの5つのモード(Mod)を収集します。
このデータセットは、クロスモーダル異常検出および融合/アブレーション戦略の評価を可能にする。
論文 参考訳（メタデータ） (2026-01-30T12:03:51Z) - DoVer: Intervention-Driven Auto Debugging for LLM Multi-Agent Systems [48.971606069204825]
DoVerは、大規模言語モデル(LLM)ベースのマルチエージェントシステムのための介入駆動デバッグフレームワークである。
ターゲットの介入を通じて、アクティブな検証によって仮説生成を増強する。
DoVerは失敗試験の18～28%を成功させ、最大16%のマイルストーンを達成し、失敗仮説の30～60%を検証または否定する。
論文 参考訳（メタデータ） (2025-12-07T09:23:48Z) - Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models [81.27391252152199]
大規模言語モデル(LLM)は、さまざまな自然言語ベンチマークで素晴らしいパフォーマンスを実現している。
本稿では、データセットの自動更新と、その有効性に関する体系的な分析を提案する。
1) 類似したサンプルを生成するための戦略を模倣すること,2) 既存のサンプルをさらに拡張する戦略を拡張すること,である。
論文 参考訳（メタデータ） (2024-02-19T07:15:59Z) - Robust Failure Diagnosis of Microservice System through Multimodal Data [14.720995687799668]
マルチモーダルデータを用いた堅牢な故障診断手法であるDagFusionを提案する。
評価の結果,DagFusion はルート原因インスタンスの局所化や障害タイプ決定の点で既存手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-02-21T08:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。