論文の概要: LogSD: Detecting Anomalies from System Logs through Self-supervised Learning and Frequency-based Masking

• arxiv url: http://arxiv.org/abs/2404.11294v2
• Date: Fri, 19 Apr 2024 01:18:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 12:13:31.960931
• Title: LogSD: Detecting Anomalies from System Logs through Self-supervised Learning and Frequency-based Masking
• Title（参考訳）: LogSD:自己教師型学習と周波数ベースのマスキングによるシステムログからの異常検出
• Authors: Yongzheng Xie, Hongyu Zhang, Muhammad Ali Babar,
• Abstract要約: 我々は,新しい半教師付き自己教師付き学習手法であるLogSDを提案する。 我々は,LogSDが8つの最先端ベンチマーク手法を著しく上回っていることを示す。
• 参考スコア（独自算出の注目度）: 14.784236273395017
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Log analysis is one of the main techniques that engineers use for troubleshooting large-scale software systems. Over the years, many supervised, semi-supervised, and unsupervised log analysis methods have been proposed to detect system anomalies by analyzing system logs. Among these, semi-supervised methods have garnered increasing attention as they strike a balance between relaxed labeled data requirements and optimal detection performance, contrasting with their supervised and unsupervised counterparts. However, existing semi-supervised methods overlook the potential bias introduced by highly frequent log messages on the learned normal patterns, which leads to their less than satisfactory performance. In this study, we propose LogSD, a novel semi-supervised self-supervised learning approach. LogSD employs a dual-network architecture and incorporates a frequency-based masking scheme, a global-to-local reconstruction paradigm and three self-supervised learning tasks. These features enable LogSD to focus more on relatively infrequent log messages, thereby effectively learning less biased and more discriminative patterns from historical normal data. This emphasis ultimately leads to improved anomaly detection performance. Extensive experiments have been conducted on three commonly-used datasets and the results show that LogSD significantly outperforms eight state-of-the-art benchmark methods.
• Abstract（参考訳）: ログ分析は、大規模なソフトウェアシステムのトラブルシューティングにエンジニアが使用する主要なテクニックの1つである。 近年,システムログを解析してシステム異常を検出するために,教師付き,半教師付き,および教師なしのログ解析法が数多く提案されている。 これらの中、半教師付き手法は、緩やかなラベル付きデータ要求と最適な検出性能のバランスを保ち、教師なしと教師なしの手法とは対照的に注目を集めている。 しかし、既存の半教師付き手法は、学習された通常のパターン上の頻繁なログメッセージによって引き起こされる潜在的なバイアスを見落としているため、その性能は満足できない。 本研究では,新しい半教師付き自己教師型学習手法であるLogSDを提案する。 LogSDはデュアルネットワークアーキテクチャを採用し、周波数ベースのマスキングスキーム、グローバルからローカルへの再構築パラダイム、そして3つの自己教師型学習タスクを組み込んでいる。 これらの機能により、LogSDは比較的頻度の低いログメッセージに集中でき、これにより、歴史的な通常のデータからバイアスが少なく、差別的なパターンを効果的に学習できる。 この強調は最終的に異常検出性能の改善につながる。 一般的に使用されている3つのデータセットに対して大規模な実験が行われ、その結果、LogSDは8つの最先端ベンチマーク手法よりも著しく優れていることが示された。

関連論文リスト

• Multi-modal Causal Structure Learning and Root Cause Analysis [67.67578590390907]
  根本原因局所化のためのマルチモーダル因果構造学習手法であるMulanを提案する。 ログ選択言語モデルを利用してログ表現学習を行い、ログシーケンスを時系列データに変換する。 また、モダリティの信頼性を評価し、最終因果グラフを共同学習するための新しいキーパフォーマンスインジケータ対応アテンション機構も導入する。
  論文  参考訳（メタデータ） (2024-02-04T05:50:38Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information [7.861095039299132]
  特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。 本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
  論文  参考訳（メタデータ） (2023-11-09T06:11:44Z)
• Log-based Anomaly Detection based on EVT Theory with feedback [31.949892354842525]
  本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。 本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
  論文  参考訳（メタデータ） (2023-06-08T08:34:58Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection [30.52620190783608]
  我々は6つの最先端の異常検知器で使用される5つの人気モデルのレビューと評価を行う。 選択された方法のうち4つは教師なし、残りの2つは教師なしである。 我々は,本研究がこの分野の基礎となり,今後の学術研究や産業応用に貢献できると考えている。
  論文  参考訳（メタデータ） (2021-07-13T08:10:47Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。