論文の概要: MLAD: A Unified Model for Multi-system Log Anomaly Detection

• arxiv url: http://arxiv.org/abs/2401.07655v1
• Date: Mon, 15 Jan 2024 12:51:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 17:11:00.860929
• Title: MLAD: A Unified Model for Multi-system Log Anomaly Detection
• Title（参考訳）: MLAD:マルチシステムログ異常検出のための統一モデル
• Authors: Runqiang Zang, Hongcheng Guo, Jian Yang, Jiaheng Liu, Zhoujun Li, Tieqiao Zheng, Xu Shi, Liangfan Zheng, Bo Zhang
• Abstract要約: 複数のシステムにまたがる意味的関係推論を組み込んだ新しい異常検出モデルMLADを提案する。 具体的には、Sentence-bertを用いてログシーケンス間の類似性を捉え、それらを高次元の学習可能な意味ベクトルに変換する。 我々は,各キーワードのシーケンスにおける意義を識別し,マルチシステムデータセットの全体分布をモデル化するために,アテンション層の公式を改訂する。
• 参考スコア（独自算出の注目度）: 35.68387377240593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In spite of the rapid advancements in unsupervised log anomaly detection techniques, the current mainstream models still necessitate specific training for individual system datasets, resulting in costly procedures and limited scalability due to dataset size, thereby leading to performance bottlenecks. Furthermore, numerous models lack cognitive reasoning capabilities, posing challenges in direct transferability to similar systems for effective anomaly detection. Additionally, akin to reconstruction networks, these models often encounter the "identical shortcut" predicament, wherein the majority of system logs are classified as normal, erroneously predicting normal classes when confronted with rare anomaly logs due to reconstruction errors. To address the aforementioned issues, we propose MLAD, a novel anomaly detection model that incorporates semantic relational reasoning across multiple systems. Specifically, we employ Sentence-bert to capture the similarities between log sequences and convert them into highly-dimensional learnable semantic vectors. Subsequently, we revamp the formulas of the Attention layer to discern the significance of each keyword in the sequence and model the overall distribution of the multi-system dataset through appropriate vector space diffusion. Lastly, we employ a Gaussian mixture model to highlight the uncertainty of rare words pertaining to the "identical shortcut" problem, optimizing the vector space of the samples using the maximum expectation model. Experiments on three real-world datasets demonstrate the superiority of MLAD.
• Abstract（参考訳）: 教師なしログ検出技術の急速な進歩にもかかわらず、現在の主流モデルでは、個々のシステムデータセットに対する特定のトレーニングが必要であり、結果としてコストのかかる手順とデータセットのサイズによるスケーラビリティが制限され、パフォーマンスボトルネックが発生している。 さらに、多くのモデルは認知的推論能力に欠けており、効果的な異常検出のための類似システムへの直接転送可能性の課題を提起している。 さらに、レコンストラクションネットワークと同様に、これらのモデルは多くの場合、レコンストラクションエラーによってまれな異常ログに直面する場合、システムログの大部分を正常に分類し、通常クラスを誤って予測する「特定ショートカット」の前提に遭遇する。 上記の問題に対処するため,複数のシステムにまたがる意味的関係推論を組み込んだ新しい異常検出モデルMLADを提案する。 具体的には、Sentence-bertを用いてログシーケンス間の類似性を捉え、それらを高次元の学習可能な意味ベクトルに変換する。 その後、各キーワードの配列における意義を識別し、適切なベクトル空間拡散によるマルチシステムデータセット全体の分布をモデル化するために、注意層の公式を改訂する。 最後に,擬似ショートカット問題に関連する稀な単語の不確実性を強調するためにガウス混合モデルを用い,最大予測モデルを用いてサンプルのベクトル空間を最適化する。 3つの実世界のデータセットの実験は、MLADの優位性を示している。

関連論文リスト

• USD: Unsupervised Soft Contrastive Learning for Fault Detection in Multivariate Time Series [6.055410677780381]
  本研究では,データ拡張とソフトコントラスト学習の組み合わせを導入し,より正確に状態行動の多面的特性を捉えることを目的としている。 この二重戦略は、正常な状態と異常な状態を区別するモデルの能力を著しく向上させ、複数のデータセットと設定で障害検出性能が著しく向上する。
  論文  参考訳（メタデータ） (2024-05-25T14:48:04Z)
• AnomalyLLM: Few-shot Anomaly Edge Detection for Dynamic Graphs using Large Language Models [19.36513465638031]
  AnomalyLLMは、いくつかのラベル付きサンプルの情報を統合して、数発の異常検出を実現する、コンテキスト内学習フレームワークである。 4つのデータセットの実験により、AnomalyLLMは、数発の異常検出のパフォーマンスを著しく改善できるだけでなく、モデルパラメータを更新することなく、新しい異常に対して優れた結果を得ることができることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-13T10:37:50Z)
• MSFlow: Multi-Scale Flow-based Framework for Unsupervised Anomaly Detection [124.52227588930543]
  教師なし異常検出(UAD)は多くの研究の関心を集め、幅広い応用を推進している。 不明瞭だが強力な統計モデルである正規化フローは、教師なしの方法で異常検出と局所化に適している。 非対称な並列フローと融合フローからなるMSFlowと呼ばれる新しいマルチスケールフローベースフレームワークを提案する。 我々のMSFlowは、検出AUORCスコアが99.7%、ローカライゼーションAUCROCスコアが98.8%、プロスコアが97.1%の新たな最先端技術を実現している。
  論文  参考訳（メタデータ） (2023-08-29T13:38:35Z)
• LafitE: Latent Diffusion Model with Feature Editing for Unsupervised Multi-class Anomaly Detection [12.596635603629725]
  我々は,通常のデータのみにアクセス可能な場合に,複数のクラスに属するオブジェクトから異常を検出する統一モデルを開発した。 まず、生成的アプローチについて検討し、再構成のための潜伏拡散モデルについて検討する。 「拡散モデルの入力特徴空間を修正し、アイデンティティショートカットをさらに緩和する特徴編集戦略を導入する。」
  論文  参考訳（メタデータ） (2023-07-16T14:41:22Z)
• Causality-Based Multivariate Time Series Anomaly Detection [63.799474860969156]
  我々は、因果的観点から異常検出問題を定式化し、多変量データを生成するための通常の因果的メカニズムに従わない事例として、異常を考察する。 次に、まずデータから因果構造を学習し、次に、あるインスタンスが局所因果機構に対して異常であるかどうかを推定する因果検出手法を提案する。 我々は、実世界のAIOpsアプリケーションに関するケーススタディと同様に、シミュレートされたデータセットとパブリックなデータセットの両方を用いて、私たちのアプローチを評価します。
  論文  参考訳（メタデータ） (2022-06-30T06:00:13Z)
• Enhancing Unsupervised Anomaly Detection with Score-Guided Network [13.127091975959358]
  異常検出は、医療や金融システムなど、さまざまな現実世界のアプリケーションにおいて重要な役割を担っている。 正規データと異常データの間の異常スコアの差を学習・拡大するために,スコア誘導正規化を用いた新しいスコアネットワークを提案する。 次に,スコア誘導型オートエンコーダ(SG-AE)を提案する。
  論文  参考訳（メタデータ） (2021-09-10T06:14:53Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。