論文の概要: OneLog: Towards End-to-End Training in Software Log Anomaly Detection

• arxiv url: http://arxiv.org/abs/2104.07324v1
• Date: Thu, 15 Apr 2021 09:23:32 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 00:50:11.363885
• Title: OneLog: Towards End-to-End Training in Software Log Anomaly Detection
• Title（参考訳）: OneLog: ソフトウェアログ異常検出におけるエンドツーエンドトレーニングを目指して
• Authors: Shayan Hashemi, Mika M\"antyl\"a
• Abstract要約: OneLogは、複数の小さなコンポーネントではなく、大きなディープモデルを使用する新しいアプローチである。 OneLogは、従来のNLPタスクに由来する文字ベースの畳み込みニューラルネットワーク(CNN)を利用しています。 OpenstackでのOneLogのパフォーマンスは21.18のF1スコアに満足していない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, with the growth of online services and IoT devices, software log anomaly detection has become a significant concern for both academia and industry. However, at the time of writing this paper, almost all contributions to the log anomaly detection task, follow the same traditional architecture based on parsing, vectorizing, and classifying. This paper proposes OneLog, a new approach that uses a large deep model based on instead of multiple small components. OneLog utilizes a character-based convolutional neural network (CNN) originating from traditional NLP tasks. This allows the model to take advantage of multiple datasets at once and take advantage of numbers and punctuations, which were removed in previous architectures. We evaluate OneLog using four open data sets Hadoop Distributed File System (HDFS), BlueGene/L (BGL), Hadoop, and OpenStack. We evaluate our model with single and multi-project datasets. Additionally, we evaluate robustness with synthetically evolved datasets and ahead-of-time anomaly detection test that indicates capabilities to predict anomalies before occurring. To the best of our knowledge, our multi-project model outperforms state-of-the-art methods in HDFS, Hadoop, and BGL datasets, respectively setting getting F1 scores of 99.99, 99.99, and 99.98. However, OneLog's performance on the Openstack is unsatisfying with F1 score of only 21.18. Furthermore, Onelogs performance suffers very little from noise showing F1 scores of 99.95, 99.92, and 99.98 in HDFS, Hadoop, and BGL.
• Abstract（参考訳）: 近年,オンラインサービスやiotデバイスの普及に伴い,学界と産業の両方において,ソフトウェアログ異常検出が重要な関心事となっている。 しかし、本稿執筆時点では、ログ異常検出タスクへのほぼすべての貢献は、解析、ベクトル化、分類に基づく従来のアーキテクチャに準拠している。 本論文では、複数の小さなコンポーネントの代わりに大きなディープモデルを使用する新しいアプローチであるOneLogを提案する。 OneLogは従来のNLPタスクから派生した文字ベースの畳み込みニューラルネットワーク(CNN)を使用している。 これにより、モデルは一度に複数のデータセットを活用し、前のアーキテクチャで削除された数値と句読点を活用できる。 我々は,Hadoop Distributed File System (HDFS), BlueGene/L (BGL), Hadoop, OpenStackの4つのオープンデータセットを用いてOneLogを評価する。 単一プロジェクトおよび複数プロジェクトデータセットを用いてモデルを評価する。 さらに,合成進化データセットと事前異常検出テストを用いて,異常発生前の予測能力を示すロバスト性を評価する。 我々の知る限り、我々のマルチプロジェクトモデルはHDFS、Hadoop、BGLデータセットの最先端メソッドよりも優れており、それぞれ99.99、99.99、99.98のF1スコアを得る。 しかし、OneLogのOpenstackのパフォーマンスは21.18点のF1スコアに満足していない。 さらに、Onelogsのパフォーマンスは、HDFS、Hadoop、BGLのF1スコア99.95、99.92、99.98のノイズに悩まされている。

関連論文リスト

• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• Single-Stage Visual Relationship Learning using Conditional Queries [60.90880759475021]
  TraCQは、マルチタスク学習問題とエンティティペアの分布を回避する、シーングラフ生成の新しい定式化である。 我々は,DETRをベースとしたエンコーダ-デコーダ条件付きクエリを用いて,エンティティラベル空間を大幅に削減する。 実験結果から、TraCQは既存のシングルステージシーングラフ生成法よりも優れており、Visual Genomeデータセットの最先端の2段階メソッドを多く上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-06-09T06:02:01Z)
• LogAI: A Library for Log Analytics and Intelligence [27.889928073709516]
  LogAIは、ログ分析とインテリジェンスのためのワンストップのオープンソースライブラリである。 ログの要約、ログクラスタリング、ログ異常検出などのタスクをサポートする。 LogAIは統一されたモデルインターフェースを提供し、人気のある時系列、統計学習、ディープラーニングモデルを提供する。
  論文  参考訳（メタデータ） (2023-01-31T05:08:39Z)
• Heterogeneous Graph Neural Networks for Software Effort Estimation [2.652428960991066]
  ストーリーポイントを自動的に推定する現在のアプローチは、事前学習された埋め込みモデルの適用と、テキスト回帰のためのディープラーニングに焦点を当てている。 アジャイルソフトウェアプロジェクトの問題のテキスト入力からストーリーポイントを推定するツールであるHeteroSPを提案する。
  論文  参考訳（メタデータ） (2022-06-22T12:46:02Z)
• Analyzing and Mitigating Data Stalls in DNN Training [7.444113272493349]
  本稿では、入力データパイプラインがディープニューラルネットワーク(DNN)のトレーニング時間にどのように影響するかを、初めて包括的に分析する。 多くの場合、DNNのトレーニング時間はデータ停止時間(データのフェッチと前処理を待つ時間)に支配されています。 データストールを緩和するために、データローディングライブラリであるCoorDLに3つのシンプルだが効果的なテクニックを実装します。
  論文  参考訳（メタデータ） (2020-07-14T02:16:56Z)
• Connecting the Dots: Multivariate Time Series Forecasting with Graph Neural Networks [91.65637773358347]
  多変量時系列データに特化して設計された汎用グラフニューラルネットワークフレームワークを提案する。 グラフ学習モジュールを用いて,変数間の一方向関係を自動的に抽出する。 提案手法は,4つのベンチマークデータセットのうち3つにおいて,最先端のベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2020-05-24T04:02:18Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)
• Evaluating Logical Generalization in Graph Neural Networks [59.70452462833374]
  グラフニューラルネットワーク(GNN)を用いた論理一般化の課題について検討する。 ベンチマークスイートであるGraphLogでは、学習アルゴリズムが異なる合成論理でルール誘導を実行する必要がある。 モデルが一般化し適応する能力は、トレーニング中に遭遇する論理規則の多様性によって強く決定される。
  論文  参考訳（メタデータ） (2020-03-14T05:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。