論文の概要: A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection
- arxiv url: http://arxiv.org/abs/2307.16714v2
- Date: Mon, 20 May 2024 12:23:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 00:40:21.347862
- Title: A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection
- Title（参考訳）: ログベース異常検出のための機械学習手法に関する総合的研究
- Authors: Shan Ali, Chaima Boufaied, Domenico Bianculli, Paula Branco, Lionel Briand,
- Abstract要約: システム複雑性の増大により、ログベースの異常検出専用の自動化技術の必要性が高まっている。
現在の評価は検出精度の評価に大きく依存している。
本稿では,教師付き,半教師付き,従来型,深層ML技術の評価を行う総合的な実証的研究について述べる。
- 参考スコア（独自算出の注目度）: 2.8211470326790606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Growth in system complexity increases the need for automated techniques dedicated to different log analysis tasks such as Log-based Anomaly Detection (LAD). The latter has been widely addressed in the literature, mostly by means of a variety of deep learning techniques. Despite their many advantages, that focus on deep learning techniques is somewhat arbitrary as traditional Machine Learning (ML) techniques may perform well in many cases, depending on the context and datasets. In the same vein, semi-supervised techniques deserve the same attention as supervised techniques since the former have clear practical advantages. Further, current evaluations mostly rely on the assessment of detection accuracy. However, this is not enough to decide whether or not a specific ML technique is suitable to address the LAD problem in a given context. Other aspects to consider include training and prediction times as well as the sensitivity to hyperparameter tuning, which in practice matters to engineers. In this paper, we present a comprehensive empirical study, in which we evaluate supervised and semi-supervised, traditional and deep ML techniques w.r.t. four evaluation criteria: detection accuracy, time performance, sensitivity of detection accuracy and time performance to hyperparameter tuning. The experimental results show that supervised traditional and deep ML techniques fare similarly in terms of their detection accuracy and prediction time. Moreover, overall, sensitivity analysis to hyperparameter tuning w.r.t. detection accuracy shows that supervised traditional ML techniques are less sensitive than deep learning techniques. Further, semi-supervised techniques yield significantly worse detection accuracy than supervised techniques.
- Abstract（参考訳）: システム複雑性の増大により、ログベースの異常検出(LAD)など、さまざまなログ分析タスクに特化した自動化技術の必要性が高まっている。
後者は文学で広く取り上げられており、主に様々な深層学習技術によって研究されている。
ディープラーニング技術には多くの利点があるが、従来の機械学習(ML)技術は多くのケースにおいて、コンテキストやデータセットによってうまく機能する可能性があるため、ある程度は任意である。
半監督的技法は、前者が明確な実践上の優位性を持っているため、半監督的技法と同一の注意を払っている。
さらに、現在の評価は検出精度の評価に大きく依存している。
しかし、特定のMLテクニックが与えられたコンテキストにおけるLAD問題に対処するのに適したかどうかを決定するのに十分ではない。
その他の考慮すべき側面としては、トレーニングや予測時間、ハイパーパラメータチューニングに対する感度などがあります。
本稿では,教師付き,半教師付き,従来型,深層ML技術の4つの評価基準として,検出精度,時間性能,検出精度の感度,ハイパーパラメータチューニングに対する時間性能の4つの評価基準を提案する。
実験結果から,従来のML手法と深部ML手法は,検出精度と予測時間に類似していることがわかった。
さらに、総合的に、ハイパーパラメータチューニングw.r.t.検出精度に対する感度解析は、教師付き従来のML技術がディープラーニング技術よりも感度が低いことを示している。
さらに、半教師技術は教師技術よりも検出精度が著しく低い。
関連論文リスト
- Semantic-Guided RL for Interpretable Feature Engineering [0.0]
SMARTはセマンティック技術を用いて解釈可能な特徴の生成を誘導するハイブリッドアプローチである。
公開データセットを用いた実験により,SMARTは高い解釈性を確保しつつ予測精度を大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-10-03T14:28:05Z) - Machine Learning, Deep Learning and Data Preprocessing Techniques for Detection, Prediction, and Monitoring of Stress and Stress-related Mental Disorders: A Scoping Review [0.0]
メンタルストレスとそれに伴う精神障害(MD)は、公衆衛生上の重要な問題である。
機械学習(ML)の出現により、これらの問題を理解し、対処するための計算技術を活用する可能性がある。
本研究の目的は,精神ストレスとMDの検出,予測,分析に使用されるML方法論のスコープを検討することである。
論文 参考訳（メタデータ） (2023-08-08T22:47:12Z) - Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。
検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文 参考訳（メタデータ） (2023-04-20T17:11:05Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳（メタデータ） (2023-03-26T21:12:36Z) - Harnessing the Speed and Accuracy of Machine Learning to Advance Cybersecurity [0.0]
従来のシグネチャベースのマルウェア検出方法は、複雑な脅威を検出するのに制限がある。
近年、機械学習はマルウェアを効果的に検出する有望なソリューションとして出現している。
MLアルゴリズムは、大規模なデータセットを分析し、人間が識別するのが困難なパターンを特定することができる。
論文 参考訳（メタデータ） (2023-02-24T02:42:38Z) - Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。
アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。
マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T09:35:38Z) - Transfer Learning for Autonomous Chatter Detection in Machining [0.9281671380673306]
大振幅のシャッター振動は加工過程において最も重要な現象の1つである。
業界全体でのチャット検出に機械学習を適用する上で、3つの課題が特定できる。
これら3つの課題は、移行学習の傘の下でグループ化することができる。
論文 参考訳（メタデータ） (2022-04-11T20:46:06Z) - Forecast Evaluation for Data Scientists: Common Pitfalls and Best
Practices [4.2951168699706646]
本稿では,全体予測プロセスにおける最も重要なステップの1つ,すなわち評価について,チュートリアルライクにまとめる。
非正規性や非定常性といった時系列の異なる問題特性について詳述する。
予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
論文 参考訳（メタデータ） (2022-03-21T03:24:46Z) - Unsupervised deep learning techniques for powdery mildew recognition
based on multispectral imaging [63.62764375279861]
本稿では,キュウリ葉の粉状ミドウを自動的に認識する深層学習手法を提案する。
マルチスペクトルイメージングデータに適用した教師なし深層学習技術に焦点をあてる。
本稿では, オートエンコーダアーキテクチャを用いて, 疾患検出のための2つの手法を提案する。
論文 参考訳（メタデータ） (2021-12-20T13:29:13Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳（メタデータ） (2021-11-09T13:30:34Z) - Signal Processing and Machine Learning Techniques for Terahertz Sensing:
An Overview [89.09270073549182]
テラヘルツ(THz)信号生成と放射法は、無線システムの未来を形作っている。
THz 固有の信号処理技術は、THz 帯域の効率的な利用のために、この THz センシングへの関心を補う必要がある。
本稿では,信号前処理に着目した手法の概要を示す。
また,THz帯で有望な知覚能力を探索し,深層学習の有効性についても検討した。
論文 参考訳（メタデータ） (2021-04-09T01:38:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。