論文の概要: Deep Learning for Anomaly Detection in Log Data: A Survey
- arxiv url: http://arxiv.org/abs/2207.03820v2
- Date: Mon, 15 May 2023 10:16:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 01:13:04.748840
- Title: Deep Learning for Anomaly Detection in Log Data: A Survey
- Title(参考訳): ログデータにおける異常検出のためのディープラーニング:調査
- Authors: Max Landauer, Sebastian Onder, Florian Skopik, Markus Wurzenberger
- Abstract要約: 自己学習異常検出技術は、ログデータのパターンをキャプチャし、予期しないログイベントを報告する。
この目的のためのディープラーニングニューラルネットワークが紹介されている。
ディープラーニングにはさまざまなアーキテクチャがあり、生と非構造化のログデータをエンコードするのは簡単ではない。
- 参考スコア(独自算出の注目度): 3.508620069426877
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Automatic log file analysis enables early detection of relevant incidents
such as system failures. In particular, self-learning anomaly detection
techniques capture patterns in log data and subsequently report unexpected log
event occurrences to system operators without the need to provide or manually
model anomalous scenarios in advance. Recently, an increasing number of
approaches leveraging deep learning neural networks for this purpose have been
presented. These approaches have demonstrated superior detection performance in
comparison to conventional machine learning techniques and simultaneously
resolve issues with unstable data formats. However, there exist many different
architectures for deep learning and it is non-trivial to encode raw and
unstructured log data to be analyzed by neural networks. We therefore carry out
a systematic literature review that provides an overview of deployed models,
data pre-processing mechanisms, anomaly detection techniques, and evaluations.
The survey does not quantitatively compare existing approaches but instead aims
to help readers understand relevant aspects of different model architectures
and emphasizes open issues for future work.
- Abstract(参考訳): 自動ログファイル解析は、システム障害などの関連するインシデントを早期に検出する。
特に、自己学習異常検出技術は、ログデータのパターンをキャプチャし、事前に異常シナリオを提示または手動でモデル化することなく、予期しないログイベントの発生をシステムオペレータに報告する。
近年,この目的のためにディープラーニングニューラルネットワークを活用するアプローチが増えている。
これらのアプローチは、従来の機械学習技術と比較して優れた検出性能を示し、不安定なデータフォーマットで同時に問題を解決する。
しかし、ディープラーニングにはさまざまなアーキテクチャがあり、生および非構造化ログデータをエンコードしてニューラルネットワークで解析するのは自明ではない。
そこで我々は,デプロイモデルの概要,データ前処理機構,異常検出手法,評価を提供する体系的文献レビューを行う。
この調査は既存のアプローチを定量的に比較するものではなく、異なるモデルアーキテクチャの関連する側面を読者が理解できるようにすることを目的としている。
関連論文リスト
- Can Tree Based Approaches Surpass Deep Learning in Anomaly Detection? A
Benchmarking Study [0.6291443816903801]
本稿では,機械学習に基づく異常検出アルゴリズムの多種多様さを評価する。
本論文は, 種々の異常検出アルゴリズムの非バイアス比較を行うことにより, 顕著に寄与する。
論文 参考訳(メタデータ) (2024-02-11T19:12:51Z) - Log-based Anomaly Detection of Enterprise Software: An Empirical Study [0.0]
研究パートナーから得られた産業データセットから最先端の異常検出モデルをいくつか評価した。
結果は、全てのモデルが異常を検出することができるが、一部のモデルはより構造化されていないデータセットに適していることを示している。
論文 参考訳(メタデータ) (2023-10-31T14:32:08Z) - Deep networks for system identification: a Survey [56.34005280792013]
システム識別は、入力出力データから動的システムの数学的記述を学習する。
同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。
我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
論文 参考訳(メタデータ) (2023-01-30T12:38:31Z) - PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。
我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2023-01-25T16:34:43Z) - Log-based Anomaly Detection with Deep Learning: How Far Are We? [7.967230034960396]
我々は,4つの公開ログデータセット上のシステム異常を検出するための5つの最先端ディープラーニングモデルについて,詳細な分析を行う。
我々の結果は、すべての研究されたモデルは必ずしもうまくいかないことを指摘している。
論文 参考訳(メタデータ) (2022-02-09T06:27:11Z) - A Meta-learning Approach to Reservoir Computing: Time Series Prediction
with Limited Data [0.0]
本研究では,実験プロセスから適切なモデル構造を自動的に抽出するデータ駆動型手法を提案する。
簡単なベンチマーク問題に対して,我々のアプローチを実証する。
論文 参考訳(メタデータ) (2021-10-07T18:23:14Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Robust and Transferable Anomaly Detection in Log Data using Pre-Trained
Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。
システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-23T09:17:05Z) - Model-Based Deep Learning [155.063817656602]
信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。
ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。
私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
論文 参考訳(メタデータ) (2020-12-15T16:29:49Z) - Self-Attentive Classification-Based Anomaly Detection in Unstructured
Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。
従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文 参考訳(メタデータ) (2020-08-21T07:26:55Z) - Complex Sequential Data Analysis: A Systematic Literature Review of
Existing Algorithms [0.9649642656207869]
本稿では、不規則なパターンを持つデータセットの分析にディープラーニングフレームワークを使うことに対する過去のアプローチについてレビューする。
従来のディープラーニング手法は、これらのデータセットを解析しようとすると、パフォーマンスが悪く、あるいは失敗する。
ディープラーニングフレームワークの性能は,平均絶対誤差とルート平均二乗誤差精度の指標を用いて評価された。
論文 参考訳(メタデータ) (2020-07-22T17:53:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。