論文の概要: RCAEval: A Benchmark for Root Cause Analysis of Microservice Systems with Telemetry Data

• arxiv url: http://arxiv.org/abs/2412.17015v1
• Date: Sun, 22 Dec 2024 13:30:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:49.802939
• Title: RCAEval: A Benchmark for Root Cause Analysis of Microservice Systems with Telemetry Data
• Title（参考訳）: RCAEval:テレメトリデータを用いたマイクロサービスシステムの根本原因分析ベンチマーク
• Authors: Luan Pham, Hongyu Zhang, Huong Ha, Flora Salim, Xiuzhen Zhang,
• Abstract要約: 近年,マイクロサービスシステムの根本原因分析(RCA)が注目されている。 大規模なデータセットを含み、包括的な評価環境をサポートする標準ベンチマークはまだ存在しない。 マイクロサービスシステムにおけるRCAEvalは、データセットとRCAEvalの評価環境を提供するオープンソースのベンチマークである。
• 参考スコア（独自算出の注目度）: 13.68949728404533
• License:
• Abstract: Root cause analysis (RCA) for microservice systems has gained significant attention in recent years. However, there is still no standard benchmark that includes large-scale datasets and supports comprehensive evaluation environments. In this paper, we introduce RCAEval, an open-source benchmark that provides datasets and an evaluation environment for RCA in microservice systems. First, we introduce three comprehensive datasets comprising 735 failure cases collected from three microservice systems, covering various fault types observed in real-world failures. Second, we present a comprehensive evaluation framework that includes fifteen reproducible baselines covering a wide range of RCA approaches, with the ability to evaluate both coarse-grained and fine-grained RCA. RCAEval is designed to support both researchers and practitioners. We hope that this ready-to-use benchmark will enable researchers and practitioners to conduct extensive analysis and pave the way for robust new solutions for RCA of microservice systems.
• Abstract（参考訳）: 近年,マイクロサービスシステムの根本原因分析(RCA)が注目されている。 しかし、大規模なデータセットを含み、包括的な評価環境をサポートする標準ベンチマークはまだ存在しない。 本稿では,マイクロサービスシステムにおけるRCAEvalのデータセットと評価環境を提供するオープンソースベンチマークについて紹介する。 まず,3つのマイクロサービスシステムから収集された735の障害事例を含む3つの包括的なデータセットを紹介し,実世界の障害で観測されたさまざまな障害タイプについて紹介する。 第2に、広範囲のRCAアプローチをカバーする15の再現可能なベースラインと、粗粒化と微粒化の両方を評価する能力を含む総合的な評価フレームワークを提案する。 RCAEvalは研究者と実践者の両方をサポートするように設計されている。 この準備の整ったベンチマークによって、研究者や実践者が広範な分析を行い、マイクロサービスシステムのRCAのための堅牢な新しいソリューションの道を開いたいと考えています。

関連論文リスト

• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Failure Diagnosis in Microservice Systems: A Comprehensive Survey and Analysis [10.92325792850306]
  独立デプロイメント、分散化、頻繁な動的インタラクションはカスケード障害をもたらす。 これらの問題は、運用効率とユーザエクスペリエンスに大きな影響を与えます。 この調査は2003年から現在までの94の論文の総合的なレビューと一次分析を提供する。
  論文  参考訳（メタデータ） (2024-06-27T10:25:37Z)
• LEMMA-RCA: A Large Multi-modal Multi-domain Dataset for Root Cause Analysis [32.816594249593955]
  ルート原因分析(RCA)は複雑なシステムの信頼性と性能を高めるために重要である。 LEMMA-RCAは複数のドメインとモダリティにまたがる多様なRCAタスク用に設計された大規模なデータセットである。 本研究では, LEMMA-RCAの性能評価を行い, 8つのベースライン法の性能評価を行った。
  論文  参考訳（メタデータ） (2024-06-08T07:00:31Z)
• Decoding the MITRE Engenuity ATT&CK Enterprise Evaluation: An Analysis of EDR Performance in Real-World Environments [4.554190270271114]
  エンドポイント検出と応答(EDR)システムの重要性が高まる中、多くのサイバーセキュリティプロバイダが独自のソリューションを開発してきた。 ユーザがこれらの検出エンジンの能力を評価して、どの製品を選ぶべきかを判断することが重要です。 本稿では,MITREの評価結果を徹底的に分析し,実世界のシステムに関するさらなる知見を得る。
  論文  参考訳（メタデータ） (2024-01-29T04:19:56Z)
• A Survey on Open-Set Image Recognition [18.474539379698538]
  オープンセット画像認識(OSR)は、既知のクラスサンプルの分類と、テストセット内の未知クラスサンプルの識別の両方を目的としている。 我々は,既存のDNNベースのOSR手法を包括的にレビューする新しい分類法を提案する。 我々は、粗粒度データセットと細粒度データセットの両方において、典型的なOSR法と最先端OSR法のパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2023-12-25T00:30:23Z)
• TraceDiag: Adaptive, Interpretable, and Efficient Root Cause Analysis on Large-Scale Microservice Systems [44.53009495726297]
  マイクロサービスシステムの信頼性を確保するために、ルート原因分析(RCA)がますます重要になっている。 本稿では,大規模マイクロサービスシステムの課題に対処するエンドツーエンドのRCAフレームワークであるTraceDiagを提案する。
  論文  参考訳（メタデータ） (2023-10-28T15:49:00Z)
• A Survey on Interpretable Cross-modal Reasoning [64.37362731950843]
  マルチメディア分析から医療診断に至るまで、クロスモーダル推論(CMR)が重要な分野として浮上している。 この調査は、解釈可能なクロスモーダル推論(I-CMR)の領域を掘り下げる 本調査では,I-CMRの3段階分類法について概説する。
  論文  参考訳（メタデータ） (2023-09-05T05:06:48Z)
• Automatic Root Cause Analysis via Large Language Models for Cloud Incidents [51.94361026233668]
  クラウドインシデントの根本原因分析を自動化するために,大規模言語モデルによって強化されたオンコールシステムであるRCACopilotを紹介する。 RCACopilotは、入ってくるインシデントと、そのアラートタイプに基づいて対応するインシデントハンドラとをマッチングし、クリティカルランタイム診断情報を集約し、インシデントの根本原因カテゴリを予測し、説明的な物語を提供する。 Microsoftから1年分のインシデントからなる実世界のデータセットを使用してRCACopilotを評価する。
  論文  参考訳（メタデータ） (2023-05-25T06:44:50Z)
• Image-text Retrieval: A Survey on Recent Research and Development [58.060687870247996]
  クロスモーダル画像テキスト検索(ITR)は、優れた研究価値と幅広い実世界の応用により、研究コミュニティへの関心が高まっている。 本稿では,ITRのアプローチに関する4つの視点から,包括的かつ最新の調査を行う。
  論文  参考訳（メタデータ） (2022-03-28T13:00:01Z)
• Wider or Deeper Neural Network Architecture for Acoustic Scene Classification with Mismatched Recording Devices [59.86658316440461]
  音響シーン分類(ASC)のためのロバストで低複雑性なシステムを提案する。 本稿では,まず,新しい入出力型ネットワークアーキテクチャを設計し,不一致な記録装置問題に対処する,ASCベースラインシステムを構築する。 さらなる性能向上を図りながら、低複雑性モデルを満たすために、多重スペクトルのアンサンブルとチャネル縮小の2つの手法を適用した。
  論文  参考訳（メタデータ） (2022-03-23T10:27:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。