論文の概要: Efficiency of Unsupervised Anomaly Detection Methods on Software Logs

• arxiv url: http://arxiv.org/abs/2312.01934v1
• Date: Mon, 4 Dec 2023 14:44:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 15:05:49.823007
• Title: Efficiency of Unsupervised Anomaly Detection Methods on Software Logs
• Title（参考訳）: ソフトウェアログにおける教師なし異常検出手法の有効性
• Authors: Jesse Nyyss\"ol\"a, Mika M\"antyl\"a
• Abstract要約: 本稿では,異常検出のための教師なしおよび時間効率の手法について検討する。 モデルは4つのパブリックデータセットで評価される。 単語表現付きOOV検出器は高速では最適である。精度では、OOV検出器とトリグラム表現を組み合わせると、AUC-ROC(0.846)の最高値が得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Software log analysis can be laborious and time consuming. Time and labeled data are usually lacking in industrial settings. This paper studies unsupervised and time efficient methods for anomaly detection. We study two custom and two established models. The custom models are: an OOV (Out-Of-Vocabulary) detector, which counts the terms in the test data that are not present in the training data, and the Rarity Model (RM), which calculates a rarity score for terms based on their infrequency. The established models are KMeans and Isolation Forest. The models are evaluated on four public datasets (BGL, Thunderbird, Hadoop, HDFS) with three different representation techniques for the log messages (Words, character Trigrams, Parsed events). We used the AUC-ROC metric for the evaluation. The results reveal discrepancies based on the dataset and representation technique. Different configurations are advised based on specific requirements. For speed, the OOV detector with word representation is optimal. For accuracy, the OOV detector combined with trigram representation yields the highest AUC-ROC (0.846). When dealing with unfiltered data where training includes both normal and anomalous instances, the most effective combination is the Isolation Forest with event representation, achieving an AUC-ROC of 0.829.
• Abstract（参考訳）: ソフトウェアログ分析は手間と時間がかかります。 時間とラベル付きデータは、通常工業環境では欠落している。 本稿では,異常検出のための教師なしおよび時間効率の手法について検討する。 我々は2つのカスタムモデルと2つの確立されたモデルを研究する。 カスタムモデルは、トレーニングデータに存在しないテストデータで用語をカウントするOOV(Out-Of-Vocabulary)検出器と、その頻度に基づいて単語のラリティスコアを算出するRarity Model(RM)である。 確立されたモデルはKMeansとIssage Forestである。 モデルは4つの公開データセット(BGL、Thunderbird、Hadoop、HDFS)で評価され、ログメッセージ(Words、キャラクタトリグラム、Parsedイベント)の3つの異なる表現テクニックがある。 AUC-ROC測定値を用いて評価を行った。 その結果,データセットと表現手法による差異が明らかになった。 特定の要件に基づいて異なる設定を推奨する。 高速では、単語表現を伴うOOV検出器が最適である。 正確性のために、OOV検出器とトリグラム表現を組み合わせると、最も高いAUC-ROC(0.846)が得られる。 トレーニングが正常なインスタンスと異常なインスタンスの両方を含む未フィルタリングデータを扱う場合、最も効果的な組み合わせはイベント表現の分離フォレストであり、AUC-ROCは0.829である。

関連論文リスト

• ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
  ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。 ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。 各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
  論文  参考訳（メタデータ） (2024-05-27T02:42:33Z)
• Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
  具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。 本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T07:30:41Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• AnoRand: A Semi Supervised Deep Learning Anomaly Detection Method by Random Labeling [0.0]
  異常検出(英: Anomaly detection)またはより一般的には異常検出(英: outliers detection)は、理論的および応用機械学習において最も人気があり、課題の1つである。 我々は、ディープラーニングアーキテクチャとランダムな合成ラベル生成を組み合わせることで、textbfAnoRandと呼ばれる新しい半教師付き異常検出手法を提案する。
  論文  参考訳（メタデータ） (2023-05-28T10:53:34Z)
• Imbalanced Aircraft Data Anomaly Detection [103.01418862972564]
  航空シナリオ下でのセンサーからの時間データの異常検出は実用的だが難しい課題である。 本稿では,グラフィカル・テンポラル・データ分析フレームワークを提案する。 シリーズ・トゥ・イメージ (S2I) と呼ばれる3つのモジュール、ユークリッド距離 (CRD) を用いたクラスタ・ベース・リサンプリング・アプローチ、変数・ベース・ロス (VBL) から構成される。
  論文  参考訳（メタデータ） (2023-05-17T09:37:07Z)
• Unsupervised Model Selection for Time-series Anomaly Detection [7.8027110514393785]
  提案手法は, 予測誤差, モデル中心性, および, 注入された合成異常に対する性能の3種類のサロゲート(教師なし)メトリクスを同定する。 我々は、厳密なランク集約問題として、複数の不完全なサロゲート指標との計量結合を定式化する。 複数の実世界のデータセットに対する大規模な実験は、我々の提案した教師なしアプローチが、最も正確なモデルを選択するのと同じくらい効果的であることを示す。
  論文  参考訳（メタデータ） (2022-10-03T16:49:30Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Latent Outlier Exposure for Anomaly Detection with Contaminated Data [31.446666264334528]
  異常検出は、ラベルなしデータセットの大多数のデータから体系的なずれを示すデータポイントを特定することを目的としている。 本稿では,広範囲のモデルと互換性のあるラベルのない異常が存在する場合に,異常検知器を訓練するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-02-16T14:21:28Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• CFLOW-AD: Real-Time Unsupervised Anomaly Detection with Localization via Conditional Normalizing Flows [0.0]
  そこで本研究では,局所化による異常検出をリアルタイムに行うモデルを提案する。 CFLOW-ADは差別的に事前訓練されたエンコーダとマルチスケール生成デコーダから構成される。 MVTecデータセットを用いた実験により,CFLOW-ADは検出タスクで0.36%,AUROCで1.12%,AUPROで2.5%,従来の手法で0.36%,それぞれ優れた性能を示した。
  論文  参考訳（メタデータ） (2021-07-27T03:10:38Z)
• COPOD: Copula-Based Outlier Detection [7.963284082401154]
  外乱検出とは、一般的なデータ分布から逸脱した希少なアイテムを識別することを指す。 既存のアプローチは、高い計算複雑性、低い予測能力、限られた解釈可能性に悩まされている。 COPODと呼ばれる新しい異常検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-20T16:06:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。