論文の概要: FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination
- arxiv url: http://arxiv.org/abs/2404.08750v1
- Date: Fri, 12 Apr 2024 18:23:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 18:52:17.700894
- Title: FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination
- Title（参考訳）: FastLogAD: Mask-Guided Pseudo 異常生成と識別によるログ異常検出
- Authors: Yifei Lin, Hanqiu Deng, Xingyu Li,
- Abstract要約: 我々は擬似異常ログを生成するために訓練されたジェネレータ・ディスクリミネータフレームワークであるFastLogADを提案する。
識別段階において、FastLogADは正常と偽異常のサンプルを区別することを学ぶ。
従来の手法と比較して、FastLogADは異常検出において少なくともx10速度の増加を達成する。
- 参考スコア（独自算出の注目度）: 13.458633961243498
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Nowadays large computers extensively output logs to record the runtime status and it has become crucial to identify any suspicious or malicious activities from the information provided by the realtime logs. Thus, fast log anomaly detection is a necessary task to be implemented for automating the infeasible manual detection. Most of the existing unsupervised methods are trained only on normal log data, but they usually require either additional abnormal data for hyperparameter selection or auxiliary datasets for discriminative model optimization. In this paper, aiming for a highly effective discriminative model that enables rapid anomaly detection,we propose FastLogAD, a generator-discriminator framework trained to exhibit the capability of generating pseudo-abnormal logs through the Mask-Guided Anomaly Generation (MGAG) model and efficiently identifying the anomalous logs via the Discriminative Abnormality Separation (DAS) model. Particularly, pseudo-abnormal logs are generated by replacing randomly masked tokens in a normal sequence with unlikely candidates. During the discriminative stage, FastLogAD learns a distinct separation between normal and pseudoabnormal samples based on their embedding norms, allowing the selection of a threshold without exposure to any test data and achieving competitive performance. Extensive experiments on several common benchmarks show that our proposed FastLogAD outperforms existing anomaly detection approaches. Furthermore, compared to previous methods, FastLogAD achieves at least x10 speed increase in anomaly detection over prior work. Our implementation is available at https://github.com/YifeiLin0226/FastLogAD.
- Abstract（参考訳）: 近年,大規模コンピュータは実行時状態を記録するためにログを広範囲に出力しており,リアルタイムログが提供する情報から疑わしい活動や悪意のある活動を特定することが重要になっている。
このように、高速なログ異常検出は、実現不可能な手動検出を自動化するために実装されるために必要なタスクである。
既存の教師なしの手法の多くは、通常のログデータのみに基づいて訓練されているが、通常、ハイパーパラメータ選択のための追加の異常データか、識別モデル最適化のための補助データセットが必要である。
本稿では,高速な異常検出が可能な高効率な識別モデルを目指して,Mask-Guided Anomaly Generation (MGAG)モデルによる擬似異常ログの生成能力と,DASモデルによる異常ログの同定を効率よく行うことを目的とした,ジェネレータ・差別化フレームワークであるFastLogADを提案する。
特に、疑似異常ログは、ランダムにマスキングされたトークンをランダムな候補に置き換えることで生成される。
識別段階において、FastLogADは、その埋め込み規範に基づいて、正常なサンプルと偽の異常なサンプルを区別することを学び、テストデータに触れることなくしきい値を選択することができ、競争的なパフォーマンスを達成することができる。
いくつかの一般的なベンチマーク実験により、提案したFastLogADは既存の異常検出手法よりも優れていることが示された。
さらに、FastLogADは、従来の方法と比較して、前処理よりも少なくともx10速度で異常検出を行うことができる。
私たちの実装はhttps://github.com/YifeiLin0226/FastLogADで利用可能です。
関連論文リスト
- OMLog: Online Log Anomaly Detection for Evolving System with Meta-learning [10.181157278476428]
OMLogはリアルタイムかつ信頼性の高いオンラインログ異常検出モデルである。
本稿では,平均誤差に基づく分布シフト検出手法を提案する。
また、ログシーケンスの繰り返しパターンを効果的に学習できるメタラーニングに基づくオンライン学習機構を設計する。
論文 参考訳（メタデータ） (2024-10-22T01:50:07Z) - LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs [0.0]
ログベースの異常検出の目標は、短時間で生成された大量のログを分析して、システム異常を自動的に検出することである。
従来の研究では、非構造化ログデータからテンプレートを抽出し、テンプレート発生パターンに基づいて異常を検出するためにログを使用していた。
自己教師付き異常検出に基づいて1行のログメッセージをより深く分析する新しいログ異常検出モデルであるLogELECTRAを提案する。
論文 参考訳（メタデータ） (2024-02-16T01:47:02Z) - LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。
具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。
そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文 参考訳（メタデータ） (2024-01-09T12:55:21Z) - RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM
considering Token-level information [7.861095039299132]
特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。
従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。
本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
論文 参考訳（メタデータ） (2023-11-09T06:11:44Z) - PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。
我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2023-01-25T16:34:43Z) - LAnoBERT: System Log Anomaly Detection based on BERT Masked Language
Model [12.00171674362062]
システムログ異常検出の目的は、人間の介入を最小限に抑えつつ、即座に異常を識別することである。
従来の研究では、様々なログデータを標準化されたテンプレートに変換した後、アルゴリズムによる異常検出が行われた。
本研究では,自然言語処理性能に優れたLAnoBERTを提案する。
論文 参考訳（メタデータ） (2021-11-18T07:46:35Z) - An Efficient Anomaly Detection Approach using Cube Sampling with
Streaming Data [2.0515785954568626]
異常検出は侵入検知、健康モニタリング、故障診断、センサネットワークイベント検出など様々な分野で重要である。
孤立林(アイフォレスト)アプローチは、異常を検出するためのよく知られた手法である。
本稿では,ストリーミングデータに有効なキューブサンプリングを用いた,効率的なiForestに基づく異常検出手法を提案する。
論文 参考訳（メタデータ） (2021-10-05T04:23:00Z) - Self-Attentive Classification-Based Anomaly Detection in Unstructured
Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。
従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文 参考訳（メタデータ） (2020-08-21T07:26:55Z) - Quickest Intruder Detection for Multiple User Active Authentication [74.5256211285431]
我々は,Multiple-user Quickest Intruder Detection (MQID)アルゴリズムを定式化する。
より少ない観測サンプルで侵入者検出を行うデータ効率のシナリオにアルゴリズムを拡張した。
顔のモダリティに基づく2つのAAデータセットに対する提案手法の有効性を評価した。
論文 参考訳（メタデータ） (2020-06-21T21:59:01Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2020-03-24T08:26:58Z) - SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier
Detection [63.253850875265115]
外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。
そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
論文 参考訳（メタデータ） (2020-03-11T00:22:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。