論文の概要: A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection
- arxiv url: http://arxiv.org/abs/2307.16714v2
- Date: Mon, 20 May 2024 12:23:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 00:40:21.347862
- Title: A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection
- Title（参考訳）: ログベース異常検出のための機械学習手法に関する総合的研究
- Authors: Shan Ali, Chaima Boufaied, Domenico Bianculli, Paula Branco, Lionel Briand,
- Abstract要約: システム複雑性の増大により、ログベースの異常検出専用の自動化技術の必要性が高まっている。
現在の評価は検出精度の評価に大きく依存している。
本稿では,教師付き,半教師付き,従来型,深層ML技術の評価を行う総合的な実証的研究について述べる。
- 参考スコア（独自算出の注目度）: 2.8211470326790606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Growth in system complexity increases the need for automated techniques dedicated to different log analysis tasks such as Log-based Anomaly Detection (LAD). The latter has been widely addressed in the literature, mostly by means of a variety of deep learning techniques. Despite their many advantages, that focus on deep learning techniques is somewhat arbitrary as traditional Machine Learning (ML) techniques may perform well in many cases, depending on the context and datasets. In the same vein, semi-supervised techniques deserve the same attention as supervised techniques since the former have clear practical advantages. Further, current evaluations mostly rely on the assessment of detection accuracy. However, this is not enough to decide whether or not a specific ML technique is suitable to address the LAD problem in a given context. Other aspects to consider include training and prediction times as well as the sensitivity to hyperparameter tuning, which in practice matters to engineers. In this paper, we present a comprehensive empirical study, in which we evaluate supervised and semi-supervised, traditional and deep ML techniques w.r.t. four evaluation criteria: detection accuracy, time performance, sensitivity of detection accuracy and time performance to hyperparameter tuning. The experimental results show that supervised traditional and deep ML techniques fare similarly in terms of their detection accuracy and prediction time. Moreover, overall, sensitivity analysis to hyperparameter tuning w.r.t. detection accuracy shows that supervised traditional ML techniques are less sensitive than deep learning techniques. Further, semi-supervised techniques yield significantly worse detection accuracy than supervised techniques.
- Abstract（参考訳）: システム複雑性の増大により、ログベースの異常検出(LAD)など、さまざまなログ分析タスクに特化した自動化技術の必要性が高まっている。
後者は文学で広く取り上げられており、主に様々な深層学習技術によって研究されている。
ディープラーニング技術には多くの利点があるが、従来の機械学習(ML)技術は多くのケースにおいて、コンテキストやデータセットによってうまく機能する可能性があるため、ある程度は任意である。
半監督的技法は、前者が明確な実践上の優位性を持っているため、半監督的技法と同一の注意を払っている。
さらに、現在の評価は検出精度の評価に大きく依存している。
しかし、特定のMLテクニックが与えられたコンテキストにおけるLAD問題に対処するのに適したかどうかを決定するのに十分ではない。
その他の考慮すべき側面としては、トレーニングや予測時間、ハイパーパラメータチューニングに対する感度などがあります。
本稿では,教師付き,半教師付き,従来型,深層ML技術の4つの評価基準として,検出精度,時間性能,検出精度の感度,ハイパーパラメータチューニングに対する時間性能の4つの評価基準を提案する。
実験結果から,従来のML手法と深部ML手法は,検出精度と予測時間に類似していることがわかった。
さらに、総合的に、ハイパーパラメータチューニングw.r.t.検出精度に対する感度解析は、教師付き従来のML技術がディープラーニング技術よりも感度が低いことを示している。
さらに、半教師技術は教師技術よりも検出精度が著しく低い。
関連論文リスト
- What Really Matters for Learning-based LiDAR-Camera Calibration [50.2608502974106]
本稿では,学習に基づくLiDAR-Cameraキャリブレーションの開発を再考する。
我々は、広く使われているデータ生成パイプラインによる回帰ベースの手法の限界を識別する。
また,入力データ形式と前処理操作がネットワーク性能に与える影響についても検討する。
論文 参考訳（メタデータ） (2025-01-28T14:12:32Z) - Evaluation of Artificial Intelligence Methods for Lead Time Prediction in Non-Cycled Areas of Automotive Production [1.3499500088995464]
本研究では,自動車生産環境における人工知能適用の有効性について検討した。
データ構造は、コンテキストの特徴を識別するために分析され、ワンホット符号化を使用して前処理される。
この研究は、高度に可変された生産データにAIメソッドを効果的に適用し、ビジネス価値を付加できることを実証している。
論文 参考訳（メタデータ） (2025-01-13T13:28:03Z) - Optimizing Multispectral Object Detection: A Bag of Tricks and Comprehensive Benchmarks [49.84182981950623]
RGBおよびTIR(熱赤外)変調を利用したマルチスペクトル物体検出は,課題として広く認識されている。
モダリティと堅牢な融合戦略の両方から特徴を効果的に抽出するだけでなく、スペクトルの相違といった問題に対処する能力も必要である。
本稿では,高パフォーマンス単一モードモデルのシームレスな最適化が可能な,効率的かつ容易にデプロイ可能なマルチスペクトルオブジェクト検出フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-27T12:18:39Z) - Vulnerability Detection via Topological Analysis of Attention Maps [0.0]
本研究では,トポロジカルデータ解析(TDA)のツールを用いた脆弱性検出手法を提案する。
その結果,従来の機械学習(ML)技術は,これらの注意行列から抽出したトポロジ的特徴を訓練することで,事前学習言語モデル(LLM)と競争的に動作できることが判明した。
これは、永続的ホモロジーを含むTDAツールが、脆弱性を特定するために重要な意味情報を効果的にキャプチャできることを示している。
論文 参考訳（メタデータ） (2024-10-04T14:40:11Z) - Semantic-Guided RL for Interpretable Feature Engineering [0.0]
SMARTはセマンティック技術を用いて解釈可能な特徴の生成を誘導するハイブリッドアプローチである。
公開データセットを用いた実験により,SMARTは高い解釈性を確保しつつ予測精度を大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-10-03T14:28:05Z) - Machine Learning, Deep Learning and Data Preprocessing Techniques for Detection, Prediction, and Monitoring of Stress and Stress-related Mental Disorders: A Scoping Review [0.0]
メンタルストレスとそれに伴う精神障害(MD)は、公衆衛生上の重要な問題である。
機械学習(ML)の出現により、これらの問題を理解し、対処するための計算技術を活用する可能性がある。
本研究の目的は,精神ストレスとMDの検出,予測,分析に使用されるML方法論のスコープを検討することである。
論文 参考訳（メタデータ） (2023-08-08T22:47:12Z) - Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。
検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文 参考訳（メタデータ） (2023-04-20T17:11:05Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳（メタデータ） (2021-11-09T13:30:34Z) - Semantic Perturbations with Normalizing Flows for Improved
Generalization [62.998818375912506]
我々は、非教師付きデータ拡張を定義するために、潜在空間における摂動が利用できることを示す。
トレーニングを通して分類器に適応する潜伏性対向性摂動が最も効果的であることが判明した。
論文 参考訳（メタデータ） (2021-08-18T03:20:00Z) - Signal Processing and Machine Learning Techniques for Terahertz Sensing:
An Overview [89.09270073549182]
テラヘルツ(THz)信号生成と放射法は、無線システムの未来を形作っている。
THz 固有の信号処理技術は、THz 帯域の効率的な利用のために、この THz センシングへの関心を補う必要がある。
本稿では,信号前処理に着目した手法の概要を示す。
また,THz帯で有望な知覚能力を探索し,深層学習の有効性についても検討した。
論文 参考訳（メタデータ） (2021-04-09T01:38:34Z) - A Ternary Bi-Directional LSTM Classification for Brain Activation
Pattern Recognition Using fNIRS [0.15229257192293197]
機能近赤外分光法(FNIRS)は、脳の血流パターンを研究するために用いられる非侵襲的で低コストな方法である。
提案システムはタスク分類にBi-Directional LSTMベースのディープラーニングアーキテクチャを使用する。
論文 参考訳（メタデータ） (2021-01-14T22:21:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。