論文の概要: Log-based Anomaly Detection with Deep Learning: How Far Are We?

• arxiv url: http://arxiv.org/abs/2202.04301v1
• Date: Wed, 9 Feb 2022 06:27:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-10 23:20:51.210204
• Title: Log-based Anomaly Detection with Deep Learning: How Far Are We?
• Title（参考訳）: 深層学習によるログベース異常検出:どこまで遠いのか?
• Authors: Van Hoang Le and Hongyu Zhang
• Abstract要約: 我々は,4つの公開ログデータセット上のシステム異常を検出するための5つの最先端ディープラーニングモデルについて,詳細な分析を行う。 我々の結果は、すべての研究されたモデルは必ずしもうまくいかないことを指摘している。
• 参考スコア（独自算出の注目度）: 7.967230034960396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software-intensive systems produce logs for troubleshooting purposes. Recently, many deep learning models have been proposed to automatically detect system anomalies based on log data. These models typically claim very high detection accuracy. For example, most models report an F-measure greater than 0.9 on the commonly-used HDFS dataset. To achieve a profound understanding of how far we are from solving the problem of log-based anomaly detection, in this paper, we conduct an in-depth analysis of five state-of-the-art deep learning-based models for detecting system anomalies on four public log datasets. Our experiments focus on several aspects of model evaluation, including training data selection, data grouping, class distribution, data noise, and early detection ability. Our results point out that all these aspects have significant impact on the evaluation, and that all the studied models do not always work well. The problem of log-based anomaly detection has not been solved yet. Based on our findings, we also suggest possible future work.
• Abstract（参考訳）: ソフトウェア集約システムはトラブルシューティングのためにログを生成する。 近年,ログデータに基づいてシステム異常を自動的に検出する深層学習モデルが多数提案されている。 これらのモデルは通常、非常に高い検出精度を主張する。 例えば、ほとんどのモデルでは、一般的なhdfsデータセットで0.9以上のf-measureを報告している。 本稿では,4つの公開ログデータセット上でシステム異常を検出するための5つの最先端ディープラーニングモデルについて,ログに基づく異常検出の問題点を深く解析する。 実験では,トレーニングデータ選択,データグループ化,クラス分散,データノイズ,早期検出能力など,モデル評価のいくつかの側面に注目した。 以上の結果から,これらすべての側面が評価に重大な影響を及ぼし,研究対象のモデルが必ずしもうまく動作しないことがわかった。 ログベースの異常検出の問題はまだ解決されていない。 また,今後の研究の可能性も示唆した。

関連論文リスト

• Log-based Anomaly Detection of Enterprise Software: An Empirical Study [0.0]
  研究パートナーから得られた産業データセットから最先端の異常検出モデルをいくつか評価した。 結果は、全てのモデルが異常を検出することができるが、一部のモデルはより構造化されていないデータセットに適していることを示している。
  論文  参考訳（メタデータ） (2023-10-31T14:32:08Z)
• Exploring the Effectiveness of Dataset Synthesis: An application of Apple Detection in Orchards [68.95806641664713]
  本研究では,リンゴ樹の合成データセットを生成するための安定拡散2.1-baseの有用性について検討する。 我々は、現実世界のリンゴ検出データセットでリンゴを予測するために、YOLOv5mオブジェクト検出モデルを訓練する。 その結果、実世界の画像でトレーニングされたベースラインモデルと比較して、生成データでトレーニングされたモデルはわずかに性能が劣っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-20T09:46:01Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Deep Learning for Anomaly Detection in Log Data: A Survey [3.508620069426877]
  自己学習異常検出技術は、ログデータのパターンをキャプチャし、予期しないログイベントを報告する。 この目的のためのディープラーニングニューラルネットワークが紹介されている。 ディープラーニングにはさまざまなアーキテクチャがあり、生と非構造化のログデータをエンコードするのは簡単ではない。
  論文  参考訳（メタデータ） (2022-07-08T10:58:28Z)
• Deep vs. Shallow Learning: A Benchmark Study in Low Magnitude Earthquake Detection [0.0]
  弾性ネット駆動データマイニングによる4つの機能の追加により,既存のロジスティック回帰モデルを構築した。 我々は,Groningenデータに基づいて事前学習したディープ(CNN)モデルに対する拡張ロジスティック回帰モデルの性能を,段階的に増加する雑音-信号比に基づいて評価する。 各比について、我々のロジスティック回帰モデルがすべての地震を正確に検出するのに対し、深部モデルは地震の約20%を検出できないことを発見した。
  論文  参考訳（メタデータ） (2022-05-01T17:59:18Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。