論文の概要: Try with Simpler -- An Evaluation of Improved Principal Component
Analysis in Log-based Anomaly Detection
- arxiv url: http://arxiv.org/abs/2308.12612v2
- Date: Wed, 31 Jan 2024 15:52:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 17:56:03.551209
- Title: Try with Simpler -- An Evaluation of Improved Principal Component
Analysis in Log-based Anomaly Detection
- Title（参考訳）: Try with Simpler -- ログベース異常検出における主成分分析の改善の評価
- Authors: Lin Yang, Junjie Chen, Shutao Gao, Zhihao Gong, Hongyu Zhang, Yue
Kang, Huaan Li
- Abstract要約: ディープラーニング(DL)は、ログベースの異常検出の強化への関心を喚起している。
従来の機械学習とデータマイニング技術は、DLよりもデータ依存が少なく、効率的だが効果は低い。
従来の手法である教師なしPCA(Principal Component Analysis)を軽量なセマンティックなログ表現を取り入れて最適化する。
- 参考スコア（独自算出の注目度）: 18.328245109223964
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid growth of deep learning (DL) has spurred interest in enhancing
log-based anomaly detection. This approach aims to extract meaning from log
events (log message templates) and develop advanced DL models for anomaly
detection. However, these DL methods face challenges like heavy reliance on
training data, labels, and computational resources due to model complexity. In
contrast, traditional machine learning and data mining techniques are less
data-dependent and more efficient but less effective than DL. To make log-based
anomaly detection more practical, the goal is to enhance traditional techniques
to match DL's effectiveness. Previous research in a different domain (linking
questions on Stack Overflow) suggests that optimized traditional techniques can
rival state-of-the-art DL methods. Drawing inspiration from this concept, we
conducted an empirical study. We optimized the unsupervised PCA (Principal
Component Analysis), a traditional technique, by incorporating lightweight
semantic-based log representation. This addresses the issue of unseen log
events in training data, enhancing log representation. Our study compared seven
log-based anomaly detection methods, including four DL-based, two traditional,
and the optimized PCA technique, using public and industrial datasets. Results
indicate that the optimized unsupervised PCA technique achieves similar
effectiveness to advanced supervised/semi-supervised DL methods while being
more stable with limited training data and resource-efficient. This
demonstrates the adaptability and strength of traditional techniques through
small yet impactful adaptations.
- Abstract（参考訳）: ディープラーニング(dl)の急速な成長は、ログベースの異常検出の強化への関心を高めた。
本手法は,ログイベント(ログメッセージテンプレート)から意味を抽出し,異常検出のための高度なDLモデルを開発することを目的とする。
しかし、これらのDL手法は、モデルの複雑さにより、トレーニングデータ、ラベル、計算資源に大きく依存するなどの課題に直面している。
対照的に、従来の機械学習やデータマイニング技術は、DLよりもデータ依存が少なく、効率も良くない。
ログベースの異常検出をより実用的なものにするため、dlの有効性にマッチする従来のテクニックを強化することが目標だ。
異なるドメイン(Stack Overflowにリンクする)における以前の研究は、最適化された従来のテクニックが最先端のDLメソッドと競合する可能性があることを示唆している。
この概念からインスピレーションを得て、実証的研究を行った。
従来の手法である教師なしPCA(Principal Component Analysis)を,軽量なセマンティックなログ表現を取り入れて最適化した。
これは、トレーニングデータの未発見のログイベントの問題に対処し、ログ表現を強化する。
本研究は,4つのDLベース,2つの従来手法,およびパブリックデータセットと産業データセットを用いた最適化PCA手法を含む,ログベースの異常検出手法を比較した。
その結果, 高度教師付き/半教師付きDL手法と, 限られた訓練データと資源効率でより安定でありながら, 最適化された教師なしPCA手法が類似した効果を達成できることが示唆された。
これは、小さなが影響のある適応を通じて、従来のテクニックの適応性と強みを示しています。
関連論文リスト
- PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Stabilizing Subject Transfer in EEG Classification with Divergence
Estimation [17.924276728038304]
脳波分類タスクを記述するためのグラフィカルモデルをいくつか提案する。
理想的な訓練シナリオにおいて真であるべき統計的関係を同定する。
我々は、これらの関係を2段階で強制する正規化罰則を設計する。
論文 参考訳（メタデータ） (2023-10-12T23:06:52Z) - Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。
検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文 参考訳（メタデータ） (2023-04-20T17:11:05Z) - Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。
計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。
また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
論文 参考訳（メタデータ） (2022-03-23T06:24:31Z) - Hybridization of Capsule and LSTM Networks for unsupervised anomaly
detection on multivariate data [0.0]
本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。
提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
論文 参考訳（メタデータ） (2022-02-11T10:33:53Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳（メタデータ） (2021-08-26T14:01:04Z) - DEALIO: Data-Efficient Adversarial Learning for Imitation from
Observation [57.358212277226315]
観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。
近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。
この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。
よりデータ効率の高いifOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-31T23:46:32Z) - Data-efficient Weakly-supervised Learning for On-line Object Detection
under Domain Shift in Robotics [24.878465999976594]
文献では、Deep Convolutional Neural Networks (DCNNs)に基づく多数のオブジェクト検出方法が提案されている。
これらの手法はロボティクスに重要な制限がある:オフラインデータのみに学習するとバイアスが発生し、新しいタスクへの適応を防ぐことができる。
本研究では,弱い教師付き学習がこれらの問題にどのように対処できるかを検討する。
論文 参考訳（メタデータ） (2020-12-28T16:36:11Z) - Self-Attentive Classification-Based Anomaly Detection in Unstructured
Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。
従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文 参考訳（メタデータ） (2020-08-21T07:26:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。