論文の概要: Log-based Anomaly Detection of Enterprise Software: An Empirical Study
- arxiv url: http://arxiv.org/abs/2310.20492v1
- Date: Tue, 31 Oct 2023 14:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 14:42:40.651677
- Title: Log-based Anomaly Detection of Enterprise Software: An Empirical Study
- Title（参考訳）: ログに基づくエンタープライズソフトウェアの異常検出:実証的研究
- Authors: Nadun Wijesinghe (Calgary, Canada), Hadi Hemmati (Toronto, Canada)
- Abstract要約: 研究パートナーから得られた産業データセットから最先端の異常検出モデルをいくつか評価した。
結果は、全てのモデルが異常を検出することができるが、一部のモデルはより構造化されていないデータセットに適していることを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most enterprise applications use logging as a mechanism to diagnose
anomalies, which could help with reducing system downtime. Anomaly detection
using software execution logs has been explored in several prior studies, using
both classical and deep neural network-based machine learning models. In recent
years, the research has largely focused in using variations of sequence-based
deep neural networks (e.g., Long-Short Term Memory and Transformer-based
models) for log-based anomaly detection on open-source data. However, they have
not been applied in industrial datasets, as often. In addition, the studied
open-source datasets are typically very large in size with logging statements
that do not change much over time, which may not be the case with a dataset
from an industrial service that is relatively new. In this paper, we evaluate
several state-of-the-art anomaly detection models on an industrial dataset from
our research partner, which is much smaller and loosely structured than most
large scale open-source benchmark datasets. Results show that while all models
are capable of detecting anomalies, certain models are better suited for
less-structured datasets. We also see that model effectiveness changes when a
common data leak associated with a random train-test split in some prior work
is removed. A qualitative study of the defects' characteristics identified by
the developers on the industrial dataset further shows strengths and weaknesses
of the models in detecting different types of anomalies. Finally, we explore
the effect of limited training data by gradually increasing the training set
size, to evaluate if the model effectiveness does depend on the training set
size.
- Abstract（参考訳）: ほとんどのエンタープライズアプリケーションは、ログを異常を診断するメカニズムとして使用しています。
ソフトウェア実行ログを用いた異常検出は、古典的およびディープニューラルネットワークベースの機械学習モデルを用いて、いくつかの先行研究で研究されている。
近年、この研究は、シークエンスベースのディープニューラルネットワーク(例えばLong-Short Term MemoryとTransformer-based model)のバリエーションを使用して、オープンソースのデータに対するログベースの異常検出に重点を置いている。
しかし、産業用データセットにはあまり適用されていない。
加えて、調査されたオープンソースのデータセットは一般的に、時間とともに大きく変化しないロギングステートメントを持つ非常に大きなサイズである。
本稿では,我々の研究パートナーによる産業用データセットにおける最先端の異常検出モデルをいくつか評価する。
結果は、全てのモデルが異常を検出することができるが、一部のモデルはより構造化されていないデータセットに適していることを示している。
また、以前の作業でランダムなトレインテストスプリットに関連する共通のデータリークが削除された場合、モデルの有効性も変化します。
工業データセット上で開発者が特定した欠陥の特徴の質的研究は、異なる種類の異常を検出する際のモデルの強度と弱点をさらに示す。
最後に、トレーニングセットサイズを徐々に増やして、限られたトレーニングデータの効果を調べ、モデルの有効性がトレーニングセットサイズに依存するかどうかを評価する。
関連論文リスト
- TAB: Text-Align Anomaly Backbone Model for Industrial Inspection Tasks [12.660226544498023]
本稿では,製造領域に適したバックボーンモデルを十分に訓練するための新しい枠組みを提案する。
本手法では,正常な状態と異常な状態に対する視覚的,テキスト的に整列した埋め込み空間を同時に検討する。
その結果、事前訓練されたバックボーンは、工業的な下流タスクのパフォーマンスを著しく向上させる。
論文 参考訳（メタデータ） (2023-12-15T01:37:29Z) - An Outlier Exposure Approach to Improve Visual Anomaly Detection
Performance for Mobile Robots [76.36017224414523]
移動ロボットの視覚異常検出システム構築の問題点を考察する。
標準異常検出モデルは、非異常データのみからなる大規模なデータセットを用いて訓練される。
本研究では,これらのデータを利用してリアルNVP異常検出モデルの性能向上を図る。
論文 参考訳（メタデータ） (2022-09-20T15:18:13Z) - Deep Learning for Anomaly Detection in Log Data: A Survey [3.508620069426877]
自己学習異常検出技術は、ログデータのパターンをキャプチャし、予期しないログイベントを報告する。
この目的のためのディープラーニングニューラルネットワークが紹介されている。
ディープラーニングにはさまざまなアーキテクチャがあり、生と非構造化のログデータをエンコードするのは簡単ではない。
論文 参考訳（メタデータ） (2022-07-08T10:58:28Z) - Log-based Anomaly Detection with Deep Learning: How Far Are We? [7.967230034960396]
我々は,4つの公開ログデータセット上のシステム異常を検出するための5つの最先端ディープラーニングモデルについて,詳細な分析を行う。
我々の結果は、すべての研究されたモデルは必ずしもうまくいかないことを指摘している。
論文 参考訳（メタデータ） (2022-02-09T06:27:11Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳（メタデータ） (2021-08-01T14:33:17Z) - Deep Visual Anomaly detection with Negative Learning [18.79849041106952]
本稿では、異常検出の強化に負の学習概念を用いる、負の学習を伴う異常検出(ADNL)を提案する。
その考え方は、与えられた少数の異常例を用いて生成モデルの再構成能力を制限することである。
このようにして、ネットワークは通常のデータを再構築することを学ぶだけでなく、異常の可能性のある分布から遠く離れた正規分布を囲む。
論文 参考訳（メタデータ） (2021-05-24T01:48:44Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - TELESTO: A Graph Neural Network Model for Anomaly Classification in
Cloud Services [77.454688257702]
機械学習(ML)と人工知能(AI)はITシステムの運用とメンテナンスに適用される。
1つの方向は、修復自動化を可能にするために、繰り返し発生する異常タイプを認識することである。
与えられたデータの次元変化に不変な手法を提案する。
論文 参考訳（メタデータ） (2021-02-25T14:24:49Z) - Robust and Transferable Anomaly Detection in Log Data using Pre-Trained
Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。
システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-23T09:17:05Z) - The Effectiveness of Discretization in Forecasting: An Empirical Study
on Neural Time Series Models [15.281725756608981]
ニューラル予測アーキテクチャの予測性能に及ぼすデータ入力および出力変換の影響について検討する。
バイナリ化は実値入力の正規化に比べてほぼ常に性能が向上することがわかった。
論文 参考訳（メタデータ） (2020-05-20T15:09:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。