論文の概要: Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs

• arxiv url: http://arxiv.org/abs/2008.09340v1
• Date: Fri, 21 Aug 2020 07:26:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 21:19:04.001238
• Title: Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs
• Title（参考訳）: 非構造ログにおける自己検出型分類に基づく異常検出
• Authors: Sasho Nedelkoski, Jasmin Bogatinovski, Alexander Acker, Jorge Cardoso, Odej Kao
• Abstract要約: ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
• 参考スコア（独自算出の注目度）: 59.04636530383049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The detection of anomalies is essential mining task for the security and reliability in computer systems. Logs are a common and major data source for anomaly detection methods in almost every computer system. They collect a range of significant events describing the runtime system status. Recent studies have focused predominantly on one-class deep learning methods on predefined non-learnable numerical log representations. The main limitation is that these models are not able to learn log representations describing the semantic differences between normal and anomaly logs, leading to a poor generalization of unseen logs. We propose Logsy, a classification-based method to learn log representations in a way to distinguish between normal data from the system of interest and anomaly samples from auxiliary log datasets, easily accessible via the internet. The idea behind such an approach to anomaly detection is that the auxiliary dataset is sufficiently informative to enhance the representation of the normal data, yet diverse to regularize against overfitting and improve generalization. We propose an attention-based encoder model with a new hyperspherical loss function. This enables learning compact log representations capturing the intrinsic differences between normal and anomaly logs. Empirically, we show an average improvement of 0.25 in the F1 score, compared to the previous methods. To investigate the properties of Logsy, we perform additional experiments including evaluation of the effect of the auxiliary data size, the influence of expert knowledge, and the quality of the learned log representations. The results show that the learned representation boost the performance of the previous methods such as PCA with a relative improvement of 28.2%.
• Abstract（参考訳）: 異常の検出は、コンピュータシステムのセキュリティと信頼性のための重要なマイニングタスクである。 ログは、ほぼすべてのコンピュータシステムにおいて、異常検出方法の共通かつ主要なデータソースである。 ランタイムシステムのステータスを記述する重要なイベントを収集する。 近年の研究では,事前定義された非学習的数値ログ表現における一級ディープラーニング手法を中心に研究が進められている。 主な制限は、これらのモデルが正常なログと異常なログのセマンティックな違いを記述するログ表現を学習できないことである。 本稿では,通常のデータと関心のシステムと,補助ログデータセットから異常サンプルを区別するために,インターネット経由で容易にアクセス可能なログ表現を分類するlogsyを提案する。 このような異常検出に対するアプローチの背景にある考え方は、補助データセットが通常のデータの表現を強化するのに十分な情報であり、過度な適合や一般化の改善に対して規則化するには多様である。 新たな超球面損失関数を持つ注目型エンコーダモデルを提案する。 これにより、正規ログと異常ログの固有の違いをキャプチャする、コンパクトなログ表現の学習が可能になる。 実験により,F1スコアの平均改善率は0.25であることがわかった。 logyの特性を調べるために,補助データサイズの影響,専門家の知識の影響,学習したログ表現の品質評価などの追加実験を行った。 その結果、学習した表現はPCAなどの従来の手法の性能を28.2%向上させることができた。

関連論文リスト

• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information [7.861095039299132]
  特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。 本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
  論文  参考訳（メタデータ） (2023-11-09T06:11:44Z)
• Impact of Log Parsing on Deep Learning-Based Anomaly Detection [4.0719622481627376]
  本研究では,ログ解析精度と異常検出精度との間には強い相関関係がないことを示す。 本研究は,ログ解析結果の識別可能性を示す特性として,既存の理論結果について実験的に検証する。
  論文  参考訳（メタデータ） (2023-05-25T09:53:02Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• Log-based Anomaly Detection Without Log Parsing [7.66638994053231]
  ログ解析を必要としない新しいログベースの異常検出手法であるNeuralLogを提案する。 実験の結果,提案手法はログメッセージの意味を効果的に理解できることがわかった。 全体として、NeuralLogは4つの公開データセットで0.95以上のF1スコアを獲得し、既存のアプローチを上回っている。
  論文  参考訳（メタデータ） (2021-08-04T10:42:13Z)
• Anomalous Sound Detection Using a Binary Classification Model and Class Centroids [47.856367556856554]
  本稿では, 正規データだけでなく, 他領域の外部データも擬似アノマラス音響データとして用いた二分分類モデルを提案する。 また,2値分類モデルをさらに改善するために,異常音データの追加の有効性についても検討した。
  論文  参考訳（メタデータ） (2021-06-11T03:35:06Z)
• TELESTO: A Graph Neural Network Model for Anomaly Classification in Cloud Services [77.454688257702]
  機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。 1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。 与えられたデータの次元変化に不変な手法を提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:24:49Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。