論文の概要: A Critical Review of Common Log Data Sets Used for Evaluation of Sequence-based Anomaly Detection Techniques

• arxiv url: http://arxiv.org/abs/2309.02854v1
• Date: Wed, 6 Sep 2023 09:31:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 16:04:23.576018
• Title: A Critical Review of Common Log Data Sets Used for Evaluation of Sequence-based Anomaly Detection Techniques
• Title（参考訳）: シーケンスに基づく異常検出手法の評価に用いる共通ログデータセットの批判的レビュー
• Authors: Max Landauer and Florian Skopik and Markus Wurzenberger
• Abstract要約: 6つの公開ログデータセットを解析し,異常の顕在化と検出のための簡単な手法に着目した。 以上の結果から,ほとんどの異常は逐次的出現とは直接関係がなく,これらのデータセットに対して高い検出率を達成するために高度な検出技術は必要ないことが示唆された。
• 参考スコア（独自算出の注目度）: 2.5339493426758906
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Log data store event execution patterns that correspond to underlying workflows of systems or applications. While most logs are informative, log data also include artifacts that indicate failures or incidents. Accordingly, log data are often used to evaluate anomaly detection techniques that aim to automatically disclose unexpected or otherwise relevant system behavior patterns. Recently, detection approaches leveraging deep learning have increasingly focused on anomalies that manifest as changes of sequential patterns within otherwise normal event traces. Several publicly available data sets, such as HDFS, BGL, Thunderbird, OpenStack, and Hadoop, have since become standards for evaluating these anomaly detection techniques, however, the appropriateness of these data sets has not been closely investigated in the past. In this paper we therefore analyze six publicly available log data sets with focus on the manifestations of anomalies and simple techniques for their detection. Our findings suggest that most anomalies are not directly related to sequential manifestations and that advanced detection techniques are not required to achieve high detection rates on these data sets.
• Abstract（参考訳）: ログデータストア システムやアプリケーションの基盤となるワークフローに対応するイベント実行パターン。 ほとんどのログは情報的だが、ログデータには障害やインシデントを示すアーティファクトも含まれている。 したがって、ログデータは、予期しない、あるいは関係のあるシステムの振る舞いパターンを自動的に開示することを目的とした異常検出技術を評価するためにしばしば使用される。 近年、ディープラーニングを利用した検出アプローチは、通常のイベントトレース内のシーケンシャルパターンの変化として現れる異常に注目が集まっている。 HDFS、BGL、Thunderbird、OpenStack、Hadoopなどの公開データセットは、これらの異常検出技術を評価するための標準となっているが、これらのデータセットの適切性は過去にも詳しく研究されていない。 そこで本稿では,異常の顕在化と検出のための簡単な手法に着目し,公開ログデータセットを6つ分析する。 以上の結果から,ほとんどの異常は逐次的出現とは直接関係がなく,これらのデータセットに対して高い検出率を達成するために高度な検出技術は必要ないことが示唆された。

関連論文リスト

• What Information Contributes to Log-based Anomaly Detection? Insights from a Configurable Transformer-Based Approach [12.980238412281471]
  ログデータのセマンティック、シーケンシャル、時間的情報をキャプチャするトランスフォーマーに基づく異常検出モデルを提案する。 入力特徴の異なる組み合わせによる一連の実験を行い、異常検出における異なる種類の情報の役割を評価する。 その結果, 事象発生情報は異常を識別する上で重要な役割を担っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-30T17:03:13Z)
• Anomaly Detection by Context Contrasting [57.695202846009714]
  異常検出は、標準から逸脱するサンプルを特定することに焦点を当てる。 近年の自己教師型学習の進歩は、この点において大きな可能性を秘めている。 我々はコンテキスト拡張を通じて学習するCon$を提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:59:06Z)
• ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
  ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。 ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。 各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
  論文  参考訳（メタデータ） (2024-05-27T02:42:33Z)
• Semi-supervised learning via DQN for log anomaly detection [1.5339370927841764]
  ログ異常検出における現在の手法は、ラベルなしデータの未使用、正規クラスと異常クラスのデータの不均衡、偽陽性と偽陰性率などの課題に直面している。 本稿では,DQNLogと呼ばれる半教師付きログ異常検出手法を提案する。 広く使われている3つのデータセット上でDQNLogを評価し、大規模未ラベルデータを効果的に活用できることを実証した。
  論文  参考訳（メタデータ） (2024-01-06T08:04:13Z)
• WePaMaDM-Outlier Detection: Weighted Outlier Detection using Pattern Approaches for Mass Data Mining [0.6754597324022876]
  外乱検出は、システム障害、不正行為、およびデータ内のパターンに関する重要な情報を明らかにすることができる。 本稿では、異なる質量データマイニング領域を持つWePaMaDM-Outlier Detectionを提案する。 また, 監視, 故障検出, 傾向解析において, 異常検出技術におけるデータモデリングの重要性についても検討した。
  論文  参考訳（メタデータ） (2023-06-09T07:00:00Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• A Taxonomy of Anomalies in Log Data [0.09558392439655014]
  異常の一般的な分類法は、すでに存在するが、ログデータに特に適用されていない。 本稿では,異なる種類のログデータ異常に対する分類法を提案し,ラベル付きデータセットにおけるそのような異常を分析する方法を提案する。 以上の結果から,最も一般的な異常型が予測し易いことが示唆された。
  論文  参考訳（メタデータ） (2021-11-26T12:23:06Z)
• Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data [150.9270911031327]
  本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。 既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。 そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-15T03:05:39Z)
• A Background-Agnostic Framework with Adversarial Training for Abnormal Event Detection in Video [120.18562044084678]
  近年,ビデオにおける異常事象検出は複雑なコンピュータビジョンの問題として注目されている。 通常のイベントのみを含むトレーニングビデオから学習するバックグラウンドに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-27T18:39:24Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。