論文の概要: A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection

• arxiv url: http://arxiv.org/abs/2307.16714v3
• Date: Fri, 20 Dec 2024 21:52:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:50.756504
• Title: A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection
• Title（参考訳）: ログベース異常検出のための機械学習手法に関する総合的研究
• Authors: Shan Ali, Chaima Boufaied, Domenico Bianculli, Paula Branco, Lionel Briand,
• Abstract要約: システム複雑性の増大により、ログベースの異常検出(LAD)のような自動ログ解析技術の必要性が高まっている。 現在の評価は主に検出精度に重点を置いているが、与えられたLADタスクに対するテクニックの適合性を決定するには不十分である。 本稿では,4つの基準にまたがる多種多様な教師付き,半教師付き,伝統的,深層ML手法を総合的な実証研究により評価した。
• 参考スコア（独自算出の注目度）: 2.8211470326790606
• License:
• Abstract: Growth in system complexity increases the need for automated log analysis techniques, such as Log-based Anomaly Detection (LAD). While deep learning (DL) methods have been widely used for LAD, traditional machine learning (ML) techniques can also perform well depending on the context and dataset. Semi-supervised techniques deserve the same attention as they offer practical advantages over fully supervised methods. Current evaluations mainly focus on detection accuracy, but this alone is insufficient to determine the suitability of a technique for a given LAD task. Other aspects to consider include training and prediction times as well as the sensitivity to hyperparameter tuning, which in practice matters to engineers. This paper presents a comprehensive empirical study evaluating a wide range of supervised and semi-supervised, traditional and deep ML techniques across four criteria: detection accuracy, time performance, and sensitivity to hyperparameter tuning in both detection accuracy and time performance. The experimental results show that supervised traditional and deep ML techniques fare similarly in terms of their detection accuracy and prediction time on most of the benchmark datasets considered in our study. Moreover, overall, sensitivity analysis to hyperparameter tuning with respect to detection accuracy shows that supervised traditional ML techniques are less sensitive than deep learning techniques. Further, semi-supervised techniques yield significantly worse detection accuracy than supervised techniques.
• Abstract（参考訳）: システム複雑性の増大により、ログベースの異常検出(LAD)のような自動ログ解析技術の必要性が高まっている。 ディープラーニング(DL)メソッドはLADに広く使用されているが、従来の機械学習(ML)技術はコンテキストやデータセットによってもうまく機能する。 半監督技術は、完全に監督された手法よりも実践的な利点を提供するのと同じ注意に値する。 現在の評価は主に検出精度に重点を置いているが、与えられたLADタスクに対するテクニックの適合性を決定するには不十分である。 その他の考慮すべき側面としては、トレーニングや予測時間、ハイパーパラメータチューニングに対する感度などがあります。 本稿では,検出精度,時間性能,ハイパーパラメータチューニングに対する感度の4つの基準にまたがって,教師付きおよび半教師付き,従来型および深層ML手法を広範囲に評価した総合的な実験的検討を行った。 実験の結果,従来のML手法と深部ML手法は,本研究で検討したベンチマークデータセットのほとんどにおいて,検出精度と予測時間に類似していることがわかった。 さらに、検出精度に対するハイパーパラメータチューニングに対する感度解析は、教師付き従来のML技術がディープラーニング技術よりも感度が低いことを示している。 さらに、半教師技術は教師技術よりも検出精度が著しく低い。

関連論文リスト

• Semantic-Guided RL for Interpretable Feature Engineering [0.0]
  SMARTはセマンティック技術を用いて解釈可能な特徴の生成を誘導するハイブリッドアプローチである。 公開データセットを用いた実験により,SMARTは高い解釈性を確保しつつ予測精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-03T14:28:05Z)
• Machine Learning, Deep Learning and Data Preprocessing Techniques for Detection, Prediction, and Monitoring of Stress and Stress-related Mental Disorders: A Scoping Review [0.0]
  メンタルストレスとそれに伴う精神障害(MD)は、公衆衛生上の重要な問題である。 機械学習(ML)の出現により、これらの問題を理解し、対処するための計算技術を活用する可能性がある。 本研究の目的は,精神ストレスとMDの検出,予測,分析に使用されるML方法論のスコープを検討することである。
  論文  参考訳（メタデータ） (2023-08-08T22:47:12Z)
• Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
  本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。 検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-20T17:11:05Z)
• MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
  本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。 一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。 本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
  論文  参考訳（メタデータ） (2023-03-26T21:12:36Z)
• Harnessing the Speed and Accuracy of Machine Learning to Advance Cybersecurity [0.0]
  従来のシグネチャベースのマルウェア検出方法は、複雑な脅威を検出するのに制限がある。 近年、機械学習はマルウェアを効果的に検出する有望なソリューションとして出現している。 MLアルゴリズムは、大規模なデータセットを分析し、人間が識別するのが困難なパターンを特定することができる。
  論文  参考訳（メタデータ） (2023-02-24T02:42:38Z)
• Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
  機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。 アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。 マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-07-21T09:35:38Z)
• Transfer Learning for Autonomous Chatter Detection in Machining [0.9281671380673306]
  大振幅のシャッター振動は加工過程において最も重要な現象の1つである。 業界全体でのチャット検出に機械学習を適用する上で、3つの課題が特定できる。 これら3つの課題は、移行学習の傘の下でグループ化することができる。
  論文  参考訳（メタデータ） (2022-04-11T20:46:06Z)
• Forecast Evaluation for Data Scientists: Common Pitfalls and Best Practices [4.2951168699706646]
  本稿では,全体予測プロセスにおける最も重要なステップの1つ,すなわち評価について,チュートリアルライクにまとめる。 非正規性や非定常性といった時系列の異なる問題特性について詳述する。 予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
  論文  参考訳（メタデータ） (2022-03-21T03:24:46Z)
• Unsupervised deep learning techniques for powdery mildew recognition based on multispectral imaging [63.62764375279861]
  本稿では,キュウリ葉の粉状ミドウを自動的に認識する深層学習手法を提案する。 マルチスペクトルイメージングデータに適用した教師なし深層学習技術に焦点をあてる。 本稿では, オートエンコーダアーキテクチャを用いて, 疾患検出のための2つの手法を提案する。
  論文  参考訳（メタデータ） (2021-12-20T13:29:13Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Signal Processing and Machine Learning Techniques for Terahertz Sensing: An Overview [89.09270073549182]
  テラヘルツ(THz)信号生成と放射法は、無線システムの未来を形作っている。 THz 固有の信号処理技術は、THz 帯域の効率的な利用のために、この THz センシングへの関心を補う必要がある。 本稿では,信号前処理に着目した手法の概要を示す。 また,THz帯で有望な知覚能力を探索し,深層学習の有効性についても検討した。
  論文  参考訳（メタデータ） (2021-04-09T01:38:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。