論文の概要: Multivariate Log-based Anomaly Detection for Distributed Database

• arxiv url: http://arxiv.org/abs/2406.07976v1
• Date: Wed, 12 Jun 2024 08:01:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 17:55:44.469290
• Title: Multivariate Log-based Anomaly Detection for Distributed Database
• Title（参考訳）: 分散データベースにおける多変量ログに基づく異常検出
• Authors: Lingzhe Zhang, Tong Jia, Mengxi Jia, Ying Li, Yong Yang, Zhonghai Wu,
• Abstract要約: MultiLogは、分散データベースに適した、革新的な多変量ログベースの異常検出アプローチである。 我々の実験は、この新しいデータセットに基づいて、MultiLogの優位性を実証し、既存の最先端メソッドを約12%上回った。
• 参考スコア（独自算出の注目度）: 17.33465218952355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed databases are fundamental infrastructures of today's large-scale software systems such as cloud systems. Detecting anomalies in distributed databases is essential for maintaining software availability. Existing approaches, predominantly developed using Loghub-a comprehensive collection of log datasets from various systems-lack datasets specifically tailored to distributed databases, which exhibit unique anomalies. Additionally, there's a notable absence of datasets encompassing multi-anomaly, multi-node logs. Consequently, models built upon these datasets, primarily designed for standalone systems, are inadequate for distributed databases, and the prevalent method of deeming an entire cluster anomalous based on irregularities in a single node leads to a high false-positive rate. This paper addresses the unique anomalies and multivariate nature of logs in distributed databases. We expose the first open-sourced, comprehensive dataset with multivariate logs from distributed databases. Utilizing this dataset, we conduct an extensive study to identify multiple database anomalies and to assess the effectiveness of state-of-the-art anomaly detection using multivariate log data. Our findings reveal that relying solely on logs from a single node is insufficient for accurate anomaly detection on distributed database. Leveraging these insights, we propose MultiLog, an innovative multivariate log-based anomaly detection approach tailored for distributed databases. Our experiments, based on this novel dataset, demonstrate MultiLog's superiority, outperforming existing state-of-the-art methods by approximately 12%.
• Abstract（参考訳）: 分散データベースは、今日のクラウドシステムのような大規模ソフトウェアシステムの基盤となる基盤である。 ソフトウェア可用性を維持するためには、分散データベースの異常を検出することが不可欠である。 既存のアプローチは、ログデータセットの包括的なコレクションであるLoghubを使って開発されている。 さらに、マルチアノマ、マルチノードログを含むデータセットが存在しないことも注目に値する。 その結果、これらのデータセット上に構築されたモデルは、主にスタンドアロンシステムのために設計されており、分散データベースには不適切であり、単一のノードにおける不規則性に基づいてクラスタ全体の異常を推定する一般的な方法は、高い偽陽性率をもたらす。 本稿では,分散データベースにおけるログの特異な異常と多変量の性質について述べる。 分散データベースから多変量ログを備えた,最初のオープンソースで包括的なデータセットを公開する。 このデータセットを用いて、複数のデータベース異常を同定し、多変量ログデータを用いた最先端異常検出の有効性を評価する。 その結果,単一ノードからのログのみに依存することは,分散データベース上での正確な異常検出には不十分であることが判明した。 これらの知見を活用し,分散データベースに適した多変量ログに基づく異常検出手法であるMultiLogを提案する。 我々の実験は、この新しいデータセットに基づいて、MultiLogの優位性を実証し、既存の最先端メソッドを約12%上回った。

関連論文リスト

• ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
  ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。 ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。 各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
  論文  参考訳（メタデータ） (2024-05-27T02:42:33Z)
• MLAD: A Unified Model for Multi-system Log Anomaly Detection [35.68387377240593]
  複数のシステムにまたがる意味的関係推論を組み込んだ新しい異常検出モデルMLADを提案する。 具体的には、Sentence-bertを用いてログシーケンス間の類似性を捉え、それらを高次元の学習可能な意味ベクトルに変換する。 我々は,各キーワードのシーケンスにおける意義を識別し,マルチシステムデータセットの全体分布をモデル化するために,アテンション層の公式を改訂する。
  論文  参考訳（メタデータ） (2024-01-15T12:51:13Z)
• Robust Failure Diagnosis of Microservice System through Multimodal Data [14.720995687799668]
  マルチモーダルデータを用いた堅牢な故障診断手法であるDagFusionを提案する。 評価の結果,DagFusion はルート原因インスタンスの局所化や障害タイプ決定の点で既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-02-21T08:28:28Z)
• Heterogeneous Anomaly Detection for Software Systems via Semi-supervised Cross-modal Attention [29.654681594903114]
  ヘテロジニアスデータに基づいてシステム異常を識別する,最初のエンドツーエンドの半教師付きアプローチであるHadesを提案する。 当社のアプローチでは,ログセマンティクスとメトリックパターンを融合させることで,システムステータスのグローバルな表現を学ぶために階層的アーキテクチャを採用している。 我々はHuawei Cloudの大規模シミュレーションデータとデータセットに基づいてHadesを広範囲に評価する。
  論文  参考訳（メタデータ） (2023-02-14T09:02:11Z)
• Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
  我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。 次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。 我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-30T06:00:13Z)
• A graph representation based on fluid diffusion model for multimodal data analysis: theoretical aspects and enhanced community detection [14.601444144225875]
  流体拡散に基づくグラフ定義の新しいモデルを提案する。 本手法は,マルチモーダルデータ解析において,コミュニティ検出のための最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-07T16:30:03Z)
• Learning Dependencies in Distributed Cloud Applications to Identify and Localize Anomalies [58.88325379746632]
  本稿では、システムコンポーネントをノードとしてモデル化し、その依存関係をエッジとしてモデル化し、異常の識別と局在を改善するニューラルグラフ変換手法であるArvalusとその変種D-Arvalusを紹介します。 一連のメトリックを考えると、私たちの方法は最も可能性の高いシステム状態 - 正常または異常クラス - を予測し、異常が検出されたときにローカライズを行います。 この評価は、一般にArvalusの良好な予測性能を示し、システムコンポーネント依存性に関する情報を組み込んだD-Arvalusの利点を明らかにします。
  論文  参考訳（メタデータ） (2021-03-09T06:34:05Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Multi-Source Anomaly Detection in Distributed IT Systems [0.2538209532048867]
  分散システムにおける異常検出のタスクには、分散トレースとシステムログデータからの共同表現を利用します。 我々は、ログと分散トレースの両方の異常検出の一般化として使用される学習タスク(次のテンプレート予測NTP)を形式化する。
  論文  参考訳（メタデータ） (2021-01-13T10:11:32Z)
• TadGAN: Time Series Anomaly Detection Using Generative Adversarial Networks [73.01104041298031]
  TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。 時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。 提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
  論文  参考訳（メタデータ） (2020-09-16T15:52:04Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。