論文の概要: Fast Unsupervised Anomaly Detection Methods on Software Logs - An Empirical Study

• arxiv url: http://arxiv.org/abs/2611.07760v1
• Date: Thu, 05 Nov 2026 10:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.650043
• Title: Fast Unsupervised Anomaly Detection Methods on Software Logs - An Empirical Study
• Title（参考訳）: ソフトウェアログにおける高速な教師なし異常検出手法 -実証的研究-
• Abstract要約: 本研究では,データ前処理,異常検出方法,およびデータセットの効果について検討する。 事前処理では,時間的に選択されたトレーニングデータに対してランダム化されたランダム化を用いた異常のないトレーニングデータと,ログ行からログメッセージを抽出するカスタムローダの3つの選択肢を検討した。 我々は、これらのアプローチを、BGL、HDFS、Hadoop、Spirit、Thunderbird、Liberty、LO2Tokenの7つのデータセットで評価する。
• 参考スコア（独自算出の注目度）: 18.116037423912257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anomaly detection on software logs ensures system reliability through failure identification, root cause analysis and fault localization. While supervised models show excellent performance, in a practical setting there rarely are labeled training data available. This calls for the use of unsupervised models. We study effects of data preprocessing, anomaly detection method, and the dataset. For preprocessing, we examine three options: The use of anomaly-free training data, using randomized as opposed to chronologically selected training data, and the use of a custom loader to extract log message from the log line. Regarding anomaly detection we use four models (KMeans, IsolationForest, RarityModel, Out-Of-Vocabulary Detector) and three representations (Words, trigrams, and parsed events). We evaluate these approaches on seven datasets: BGL, HDFS, Hadoop, Spirit, Thunderbird, Liberty, and LO2Token. We run each combination of the selected factors and measure performance with AUCROC and F1-score metrics. Then we utilize a generalized linear model to establish relationships between the factors. Furthermore, we address execution times. Our evidence reveals large variability across all datasets, preventing us from making recommendations that apply universally. For instance, log parsing enhances performance on some datasets but reduces it on others. The evidence suggests that using anomaly-free data for training unsupervised models can improve anomaly detection performance, though this requires extra effort to identify such data.Previous work has argued that shuffling data leads to unrealistic model performance (data leakage). Yet, our results show this does not hold for the unsupervised models we tested, while it remains true for supervised models in the same setup. For fast execution of the pipeline, use word representation and avoid IsolationForest model.
• Abstract（参考訳）: ソフトウェアログの異常検出は、障害識別、根本原因分析、障害局所化を通じてシステムの信頼性を保証する。 教師付きモデルは優れたパフォーマンスを示すが、実用的な環境では、利用可能なトレーニングデータがラベル付けされることはめったにない。 これにより、教師なしモデルの使用が要求される。 本研究では,データ前処理,異常検出方法,およびデータセットの効果について検討する。 事前処理では,時間的に選択されたトレーニングデータに対してランダム化されたランダム化を用いた異常のないトレーニングデータと,ログ行からログメッセージを抽出するカスタムローダの3つの選択肢を検討した。 異常検出には、4つのモデル(KMeans、IsolationForest、RarityModel、Out-Of-Vocabulary Detector)と3つの表現(ワード、トリグラム、解析イベント)を使用します。 我々は、これらのアプローチを、BGL、HDFS、Hadoop、Spirit、Thunderbird、Liberty、LO2Tokenの7つのデータセットで評価する。 選択した因子の組み合わせをそれぞれ実行し、AUCROCとF1スコアのメトリクスで性能を測定します。 次に,一般化線形モデルを用いて因子間の関係を確立する。 さらに、実行時間にも対処します。 私たちの証拠は、すべてのデータセットに大きなばらつきがあることを示し、普遍的に適用されるレコメンデーションを作らないようにしています。 例えば、ログ解析によって一部のデータセットのパフォーマンスが向上するが、他のデータセットでは低下する。 この証拠は、教師なしモデルのトレーニングに異常のないデータを使用することで異常検出性能が向上することが示唆されているが、そのようなデータを特定するのに余分な労力がかかるため、データのシャッフルは非現実的なモデル性能(データ漏洩)につながると主張している。 しかし、我々の結果は、これは我々がテストした教師なしモデルには当てはまらないことを示している。 パイプラインの高速実行には、ワード表現を使用し、IsolationForestモデルを避ける。

関連論文リスト

• Statistically Testing Training Data for Unwanted Error Patterns using Rule-Oriented Regression [0.5831737970661137]
  本稿では,欠陥に対するトレーニングデータをテストし,その後の機械学習モデルのトレーニングのための信頼性の高い基盤構造を確立する方法を提案する。 我々の手法は、テスト条件'をデータ内のパターンを記述する条件とすることで、従来の統計的テストの能力を拡張します。 デモと実験のためのオープンソース実装を提供しています。
  論文  参考訳（メタデータ） (2025-03-24T09:52:36Z)
• Efficiency of Unsupervised Anomaly Detection Methods on Software Logs [0.0]
  本稿では,異常検出のための教師なしおよび時間効率の手法について検討する。 モデルは4つのパブリックデータセットで評価される。 単語表現付きOOV検出器は高速では最適である。精度では、OOV検出器とトリグラム表現を組み合わせると、AUC-ROC(0.846)の最高値が得られる。
  論文  参考訳（メタデータ） (2023-12-04T14:44:31Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• Unsupervised Model Selection for Time-series Anomaly Detection [7.8027110514393785]
  提案手法は, 予測誤差, モデル中心性, および, 注入された合成異常に対する性能の3種類のサロゲート(教師なし)メトリクスを同定する。 我々は、厳密なランク集約問題として、複数の不完全なサロゲート指標との計量結合を定式化する。 複数の実世界のデータセットに対する大規模な実験は、我々の提案した教師なしアプローチが、最も正確なモデルを選択するのと同じくらい効果的であることを示す。
  論文  参考訳（メタデータ） (2022-10-03T16:49:30Z)
• Attentive Prototypes for Source-free Unsupervised Domain Adaptive 3D Object Detection [85.11649974840758]
  3Dオブジェクト検出ネットワークは、トレーニングされたデータに対してバイアスを受ける傾向がある。 そこで本研究では,ライダーを用いた3次元物体検出器のソースレス・教師なし領域適応のための単一フレーム手法を提案する。
  論文  参考訳（メタデータ） (2021-11-30T18:42:42Z)
• Unsupervised Model Drift Estimation with Batch Normalization Statistics for Dataset Shift Detection and Model Selection [0.0]
  本研究では,未ラベル試験データに基づくバッチ正規化層の統計量を利用したモデルドリフト推定手法を提案する。 本手法は,モデル動物園内に複数の候補モデルが存在する場合のモデル選択だけでなく,教師なしの方法でのトレーニングトラジェクトリにおいても有効であることを示す。
  論文  参考訳（メタデータ） (2021-07-01T03:04:47Z)
• Discriminative-Generative Dual Memory Video Anomaly Detection [81.09977516403411]
  近年,ビデオ異常検出(VAD)には,トレーニングプロセス中に通常のデータに代えて,いくつかの異常を使おうと試みている。 本稿では,いくつかの異常を生かしてデータの不均衡を解決するために,識別生成型デュアルメモリ(dream)異常検出モデルを提案する。
  論文  参考訳（メタデータ） (2021-04-29T15:49:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。