論文の概要: FlexParser -- the adaptive log file parser for continuous results in a changing world

• arxiv url: http://arxiv.org/abs/2106.03170v1
• Date: Sun, 6 Jun 2021 16:30:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-13 13:03:45.818935
• Title: FlexParser -- the adaptive log file parser for continuous results in a changing world
• Title（参考訳）: FlexParser -- 変化する世界における継続的な結果のための適応ログファイルパーサ
• Authors: Nadine Ruecker, Andreas Maier
• Abstract要約: 我々は、ログメッセージの段階的な変更にもかかわらず、望ましい値を抽出できるFlexという、フレキシブルな新しい処理を提案する。 我々は、データセットごとに1つのイベントを解析するステートフルLSTMをトレーニングし、ステートフルネスは、複数のメッセージにわたってログメッセージ構造を学ぶモデルを強制します。 我々のモデルは7つの異なる公開ログファイルデータセットと様々な変異でテストされた。
• 参考スコア（独自算出の注目度）: 7.11408657653976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Any modern system writes events into files, called log files. Those contain crucial information which are subject to various analyses. Examples range from cybersecurity, intrusion detection over usage analyses to trouble shooting. Before data analysis is possible, desired information needs to be extracted first out of the semi-structured log messages. State of the art event parsing often assumes static log events. However, any modern system is updated consistently and with updates also log file structures can change. We call those changes 'mutations' and study parsing performance for different mutation cases. Latest research discovers mutations using anomaly detection post mortem, however, does not cover actual continuous parsing. Thus, we propose a novel, flexible parser, called FlexParser which can extract desired values despite gradual changes in the log messages. It implies basic text preprocessing followed by a supervised Deep Learning method. We train a stateful LSTM on parsing one event per data set. Statefulness enforces the model to learn log message structures across several messages. Our model was tested on seven different, publicly available log file data sets and various kinds of mutations. Exhibiting an average F1-Score of 0.98, it outperforms other Deep Learning methods as well as state-of-the-art unsupervised parsers.
• Abstract（参考訳）: 最新のシステムはログファイルと呼ばれるイベントをファイルに書き込む。 これらは様々な分析対象となる重要な情報を含んでいる。 例えば、サイバーセキュリティ、利用分析による侵入検知、トラブルシューティングなどがある。 データ分析が可能になる前に、必要な情報を半構造化ログメッセージから抽出する必要がある。 state of the artイベント解析は、静的なログイベントを想定することが多い。 しかし、最新のシステムは一貫して更新され、更新とともにログファイル構造も変更できる。 これらの変化を「変異」と呼び、異なる変異例のパース性能について研究する。 しかし、最近の研究では、死後の異常検出による突然変異は、実際の継続的な解析をカバーしていない。 そこで我々は,ログメッセージの段階的変化にもかかわらず所望の値を抽出できるflexparserと呼ばれる新しいフレキシブルパーサを提案する。 これは、基本的なテキストの前処理と教師付きディープラーニングの方法を意味する。 データセット毎にひとつのイベントを解析する上で、ステートフルなLSTMをトレーニングします。 ステートフルネスは、複数のメッセージにわたるログメッセージ構造を学習するモデルを強制する。 我々のモデルは7つの異なる公開ログファイルデータセットと様々な変異でテストされた。 平均F1スコアは0.98で、他のDeep Learningメソッドや最先端の教師なしパーサーよりも優れている。

関連論文リスト

• Unified Semantic Log Parsing and Causal Graph Construction for Attack Attribution [3.9936021096611576]
  マルチソースログは、進行中のシステムアクティビティの包括的概要を提供し、詳細な分析によって潜在的な脅威を検出することができる。 脅威検出の実践的なアプローチは、システム動作の分析を容易にするために、グラフを構築するためのエンティティトリプル(オブジェクト、アクション、オブジェクト)を明示的に抽出することである。 個別のログソースから複数のサブグラフをマージして因果グラフを構築するために意味解析を採用する。
  論文  参考訳（メタデータ） (2024-11-22T21:40:19Z)
• HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
  ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。 ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。 既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
  論文  参考訳（メタデータ） (2024-08-15T17:54:31Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation [102.20036684996248]
  多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。 WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-16T17:36:23Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Towards End-to-End Unified Scene Text Detection and Layout Analysis [60.68100769639923]
  本稿では,シーンテキストの検出とレイアウト解析を統合化するタスクについて紹介する。 この新たな研究課題を実現するために、最初の階層的なシーンテキストデータセットが導入された。 また,シーンテキストを同時に検出し,テキストクラスタを統一的に形成する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-28T23:35:45Z)
• OneLog: Towards End-to-End Training in Software Log Anomaly Detection [0.0]
  OneLogは文字レベルでCNN(Conal Neural Networks)を使用して数字、数字、句読点を取得する。 Onelogは私たちのデータセットで最先端のパフォーマンスを提供します。 プロジェクト間の異常検出は、1つのプロジェクトペアで可能である。
  論文  参考訳（メタデータ） (2021-04-15T09:23:32Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。