論文の概要: An Empirical Study on Log-based Anomaly Detection Using Machine Learning
- arxiv url: http://arxiv.org/abs/2307.16714v1
- Date: Mon, 31 Jul 2023 14:34:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 14:00:22.275333
- Title: An Empirical Study on Log-based Anomaly Detection Using Machine Learning
- Title（参考訳）: 機械学習を用いたログベース異常検出に関する実証的研究
- Authors: Shan Ali and Chaima Boufaied and Domenico Bianculli and Paula Branco
and Lionel Briand and Nathan Aschbacher
- Abstract要約: 教師付き,半教師付き,従来型,深層ML技術の評価を行った。
従来の深層ML技術は、検出精度と予測時間の観点から非常によく機能する。
半教師技術は教師技術よりも検出精度が著しく低い。
- 参考スコア（独自算出の注目度）: 2.1858709012908903
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growth of systems complexity increases the need of automated techniques
dedicated to different log analysis tasks such as Log-based Anomaly Detection
(LAD). The latter has been widely addressed in the literature, mostly by means
of different deep learning techniques. Nevertheless, the focus on deep learning
techniques results in less attention being paid to traditional Machine Learning
(ML) techniques, which may perform well in many cases, depending on the context
and the used datasets. Further, the evaluation of different ML techniques is
mostly based on the assessment of their detection accuracy. However, this is is
not enough to decide whether or not a specific ML technique is suitable to
address the LAD problem. Other aspects to consider include the training and
prediction time as well as the sensitivity to hyperparameter tuning. In this
paper, we present a comprehensive empirical study, in which we evaluate
different supervised and semi-supervised, traditional and deep ML techniques
w.r.t. four evaluation criteria: detection accuracy, time performance,
sensitivity of detection accuracy as well as time performance to hyperparameter
tuning. The experimental results show that supervised traditional and deep ML
techniques perform very closely in terms of their detection accuracy and
prediction time. Moreover, the overall evaluation of the sensitivity of the
detection accuracy of the different ML techniques to hyperparameter tuning
shows that supervised traditional ML techniques are less sensitive to
hyperparameter tuning than deep learning techniques. Further, semi-supervised
techniques yield significantly worse detection accuracy than supervised
techniques.
- Abstract（参考訳）: システム複雑性の増大により、ログベースの異常検出(LAD)など、さまざまなログ分析タスクに特化した自動化技術の必要性が高まっている。
後者は文学で広く取り上げられており、主に異なる深層学習技術によって研究されている。
それでも、ディープラーニング技術への注目は、従来の機械学習(ML)技術への注意を減らし、多くの場合、コンテキストや使用されるデータセットによってうまく機能する可能性がある。
さらに, 異なるml手法の評価は, その検出精度の評価に基づくものが多い。
しかし、これはLAD問題に対処するのに特定のMLテクニックが適しているかどうかを決定するのに十分ではない。
その他の考慮すべき側面としては、トレーニングと予測時間、ハイパーパラメータチューニングに対する感度などがある。
本稿では,教師付き,半教師付き,従来型,深層ML技術の4つの評価基準である検出精度,時間性能,検出精度の感度,およびハイパーパラメータチューニングに対する時間性能について,総合的な実証的研究を行った。
実験結果から,従来のML技術と深層ML技術は,検出精度と予測時間の観点から非常によく機能することがわかった。
さらに、異なるML手法のハイパーパラメータチューニングに対する検出精度の感度の総合評価により、教師付きML手法はディープラーニング技術よりもハイパーパラメータチューニングに敏感でないことが示された。
さらに、半教師技術は教師技術よりも検出精度が著しく低い。
関連論文リスト
- Semantic-Guided RL for Interpretable Feature Engineering [0.0]
SMARTはセマンティック技術を用いて解釈可能な特徴の生成を誘導するハイブリッドアプローチである。
公開データセットを用いた実験により,SMARTは高い解釈性を確保しつつ予測精度を大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-10-03T14:28:05Z) - Machine Learning, Deep Learning and Data Preprocessing Techniques for Detection, Prediction, and Monitoring of Stress and Stress-related Mental Disorders: A Scoping Review [0.0]
メンタルストレスとそれに伴う精神障害(MD)は、公衆衛生上の重要な問題である。
機械学習(ML)の出現により、これらの問題を理解し、対処するための計算技術を活用する可能性がある。
本研究の目的は,精神ストレスとMDの検出,予測,分析に使用されるML方法論のスコープを検討することである。
論文 参考訳（メタデータ） (2023-08-08T22:47:12Z) - Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。
検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文 参考訳（メタデータ） (2023-04-20T17:11:05Z) - MGTBench: Benchmarking Machine-Generated Text Detection [54.81446366272403]
本稿では,強力な大規模言語モデル(LLM)に対するMGT検出のための最初のベンチマークフレームワークを提案する。
一般に単語が多ければ多いほど性能が向上し,ほとんどの検出手法はトレーニングサンプルをはるかに少なくして同様の性能が得られることを示す。
本研究は, テキスト属性タスクにおいて, モデルに基づく検出手法が依然として有効であることを示す。
論文 参考訳（メタデータ） (2023-03-26T21:12:36Z) - Harnessing the Speed and Accuracy of Machine Learning to Advance Cybersecurity [0.0]
従来のシグネチャベースのマルウェア検出方法は、複雑な脅威を検出するのに制限がある。
近年、機械学習はマルウェアを効果的に検出する有望なソリューションとして出現している。
MLアルゴリズムは、大規模なデータセットを分析し、人間が識別するのが困難なパターンを特定することができる。
論文 参考訳（メタデータ） (2023-02-24T02:42:38Z) - Detecting Shortcut Learning for Fair Medical AI using Shortcut Testing [62.9062883851246]
機械学習は医療の改善に大いに貢献するが、その利用が健康格差を広めたり増幅したりしないことを確実にすることは重要である。
アルゴリズムの不公平性の潜在的な要因の1つ、ショートカット学習は、トレーニングデータにおける不適切な相関に基づいてMLモデルが予測した時に発生する。
マルチタスク学習を用いて,臨床MLシステムの公平性評価の一環として,ショートカット学習の評価と緩和を行う手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T09:35:38Z) - Transfer Learning for Autonomous Chatter Detection in Machining [0.9281671380673306]
大振幅のシャッター振動は加工過程において最も重要な現象の1つである。
業界全体でのチャット検出に機械学習を適用する上で、3つの課題が特定できる。
これら3つの課題は、移行学習の傘の下でグループ化することができる。
論文 参考訳（メタデータ） (2022-04-11T20:46:06Z) - Forecast Evaluation for Data Scientists: Common Pitfalls and Best
Practices [4.2951168699706646]
本稿では,全体予測プロセスにおける最も重要なステップの1つ,すなわち評価について,チュートリアルライクにまとめる。
非正規性や非定常性といった時系列の異なる問題特性について詳述する。
予測評価のベストプラクティスは、データのパーティショニング、エラー計算、統計的テストなど、さまざまなステップについて概説されている。
論文 参考訳（メタデータ） (2022-03-21T03:24:46Z) - Unsupervised deep learning techniques for powdery mildew recognition
based on multispectral imaging [63.62764375279861]
本稿では,キュウリ葉の粉状ミドウを自動的に認識する深層学習手法を提案する。
マルチスペクトルイメージングデータに適用した教師なし深層学習技術に焦点をあてる。
本稿では, オートエンコーダアーキテクチャを用いて, 疾患検出のための2つの手法を提案する。
論文 参考訳（メタデータ） (2021-12-20T13:29:13Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳（メタデータ） (2021-11-09T13:30:34Z) - Signal Processing and Machine Learning Techniques for Terahertz Sensing:
An Overview [89.09270073549182]
テラヘルツ(THz)信号生成と放射法は、無線システムの未来を形作っている。
THz 固有の信号処理技術は、THz 帯域の効率的な利用のために、この THz センシングへの関心を補う必要がある。
本稿では,信号前処理に着目した手法の概要を示す。
また,THz帯で有望な知覚能力を探索し,深層学習の有効性についても検討した。
論文 参考訳（メタデータ） (2021-04-09T01:38:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。