論文の概要: OneLog: Towards End-to-End Training in Software Log Anomaly Detection
- arxiv url: http://arxiv.org/abs/2104.07324v2
- Date: Tue, 27 Feb 2024 17:07:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 01:32:04.671783
- Title: OneLog: Towards End-to-End Training in Software Log Anomaly Detection
- Title（参考訳）: OneLog: ソフトウェアログ異常検出におけるエンドツーエンドトレーニングを目指して
- Authors: Shayan Hashemi, Mika M\"antyl\"a
- Abstract要約: OneLogは文字レベルでCNN(Conal Neural Networks)を使用して数字、数字、句読点を取得する。
Onelogは私たちのデータセットで最先端のパフォーマンスを提供します。
プロジェクト間の異常検出は、1つのプロジェクトペアで可能である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the growth of online services, IoT devices, and DevOps-oriented software
development, software log anomaly detection is becoming increasingly important.
Prior works mainly follow a traditional four-staged architecture (Preprocessor,
Parser, Vectorizer, and Classifier). This paper proposes OneLog, which utilizes
a single Deep Neural Network (DNN) instead of multiple separate components.
OneLog harnesses Convolutional Neural Networks (CNN) at the character level to
take digits, numbers, and punctuations, which were removed in prior works, into
account alongside the main natural language text. We evaluate our approach in
six message- and sequence-based data sets: HDFS, Hadoop, BGL, Thunderbird,
Spirit, and Liberty. We experiment with Onelog with single-, multi-, and
cross-project setups. Onelog offers state-of-the-art performance in our
datasets. Onelog can utilize multi-project datasets simultaneously during
training, which suggests our model can generalize between datasets.
Multi-project training also improves Onelog performance making it ideal when
limited training data is available for an individual project. We also found
that cross-project anomaly detection is possible with a single project pair
(Liberty and Spirit). Analysis of model internals shows that one log has
multiple modes of detecting anomalies and that the model learns manually
validated parsing rules for the log messages. We conclude that character-based
CNNs are a promising approach toward end-to-end learning in log anomaly
detection. They offer good performance and generalization over multiple
datasets. We will make our scripts publicly available upon the acceptance of
this paper.
- Abstract（参考訳）: オンラインサービス、IoTデバイス、DevOps指向ソフトウェア開発の成長に伴い、ソフトウェアログの異常検出がますます重要になっている。
従来の4段階アーキテクチャ(Preprocessor、Parser、Vectorizer、Classifier)に主に従っている。
本論文では,複数のコンポーネントの代わりに1つのディープニューラルネットワーク(DNN)を利用するOneLogを提案する。
OneLogは、CNN(Convolutional Neural Networks)を文字レベルで利用して、従来の作業で削除された数字、数字、句読点を、主要な自然言語テキストとともに考慮している。
このアプローチを,HDFS,Hadoop,BGL,Thunderbird,Spirit,Libertyの6つのメッセージおよびシーケンスベースのデータセットで評価する。
私たちはonelogを、シングル、マルチ、クロスプロジェクトのセットアップで実験します。
Onelogは私たちのデータセットで最先端のパフォーマンスを提供します。
onelogはトレーニング中に複数のプロジェクトデータセットを同時に利用することができます。
マルチプロジェクトトレーニングは、個々のプロジェクトで限られたトレーニングデータが利用できる場合に理想的なOnelogのパフォーマンスも改善する。
また,一対のプロジェクト(自由とスピリット)で,プロジェクト横断異常検出が可能であった。
モデル内部の分析は、1つのログに複数の異常検出モードがあり、モデルが手動でログメッセージのパースルールを学習することを示している。
文字ベースのCNNは、ログ異常検出におけるエンドツーエンド学習への有望なアプローチである。
複数のデータセットに対して優れたパフォーマンスと一般化を提供する。
この論文が受け入れられ次第、私たちのスクリプトを公開します。
関連論文リスト
- LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。
具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。
そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文 参考訳（メタデータ） (2024-01-09T12:55:21Z) - Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。
我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。
実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
論文 参考訳（メタデータ） (2023-06-09T06:02:01Z) - LogAI: A Library for Log Analytics and Intelligence [27.889928073709516]
LogAIは、ログ分析とインテリジェンスのためのワンストップのオープンソースライブラリである。
ログの要約、ログクラスタリング、ログ異常検出などのタスクをサポートする。
LogAIは統一されたモデルインターフェースを提供し、人気のある時系列、統計学習、ディープラーニングモデルを提供する。
論文 参考訳（メタデータ） (2023-01-31T05:08:39Z) - Heterogeneous Graph Neural Networks for Software Effort Estimation [2.652428960991066]
ストーリーポイントを自動的に推定する現在のアプローチは、事前学習された埋め込みモデルの適用と、テキスト回帰のためのディープラーニングに焦点を当てている。
アジャイルソフトウェアプロジェクトの問題のテキスト入力からストーリーポイントを推定するツールであるHeteroSPを提案する。
論文 参考訳（メタデータ） (2022-06-22T12:46:02Z) - Analyzing and Mitigating Data Stalls in DNN Training [7.444113272493349]
本稿では、入力データパイプラインがディープニューラルネットワーク(DNN)のトレーニング時間にどのように影響するかを、初めて包括的に分析する。
多くの場合、DNNのトレーニング時間はデータ停止時間(データのフェッチと前処理を待つ時間)に支配されています。
データストールを緩和するために、データローディングライブラリであるCoorDLに3つのシンプルだが効果的なテクニックを実装します。
論文 参考訳（メタデータ） (2020-07-14T02:16:56Z) - Connecting the Dots: Multivariate Time Series Forecasting with Graph
Neural Networks [91.65637773358347]
多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。
グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。
提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
論文 参考訳（メタデータ） (2020-05-24T04:02:18Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2020-04-15T06:13:33Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳（メタデータ） (2020-03-17T19:25:25Z) - Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。
ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。
モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
論文 参考訳（メタデータ） (2020-03-14T05:45:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。