論文の概要: A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We?

• arxiv url: http://arxiv.org/abs/2308.10828v2
• Date: Sat, 23 Mar 2024 03:46:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 03:28:06.375108
• Title: A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We?
• Title（参考訳）: ログ解析手法の大規模評価:どこまでの距離か?
• Authors: Zhihan Jiang, Jinyang Liu, Junjie Huang, Yichen Li, Yintong Huo, Jiazhen Gu, Zhuangbin Chen, Jieming Zhu, Michael R. Lyu,
• Abstract要約: 実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。 我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
• 参考スコア（独自算出の注目度）: 42.56249610409624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Log data have facilitated various tasks of software development and maintenance, such as testing, debugging and diagnosing. Due to the unstructured nature of logs, log parsing is typically required to transform log messages into structured data for automated log analysis. Given the abundance of log parsers that employ various techniques, evaluating these tools to comprehend their characteristics and performance becomes imperative. Loghub serves as a commonly used dataset for benchmarking log parsers, but it suffers from limited scale and representativeness, posing significant challenges for studies to comprehensively evaluate existing log parsers or develop new methods. This limitation is particularly pronounced when assessing these log parsers for production use. To address these limitations, we provide a new collection of annotated log datasets, denoted Loghub-2.0, which can better reflect the characteristics of log data in real-world software systems. Loghub-2.0 comprises 14 datasets with an average of 3.6 million log lines in each dataset. Based on Loghub-2.0, we conduct a thorough re-evaluation of 15 state-of-the-art log parsers in a more rigorous and practical setting. Particularly, we introduce a new evaluation metric to mitigate the sensitivity of existing metrics to imbalanced data distributions. We are also the first to investigate the granular performance of log parsers on logs that represent rare system events, offering in-depth details for software diagnosis. Accurately parsing such logs is essential, yet it remains a challenge. We believe this work could shed light on the evaluation and design of log parsers in practical settings, thereby facilitating their deployment in production systems.
• Abstract（参考訳）: ログデータは、テスト、デバッグ、診断など、ソフトウェア開発とメンテナンスの様々なタスクを促進してきた。 ログの非構造化の性質のため、ログ解析は通常、ログメッセージを構造化データに変換するために必要となる。 様々な技術を用いたログパーサが豊富にあることから,それらの特性や性能を理解するためのツールの評価が不可欠である。 Loghubは、ログパーザをベンチマークするための一般的なデータセットとして機能するが、スケールと代表性が限られており、既存のログパーサを包括的に評価したり、新しいメソッドを開発するための研究において重大な課題となっている。 この制限は、プロダクション使用のためにこれらのログパーサを評価する際に特に顕著である。 これらの制限に対処するため、我々はLoghub-2.0というアノテーション付きログデータセットのコレクションを提供し、実際のソフトウェアシステムにおけるログデータの特徴をよりよく反映することができる。 Loghub-2.0は14のデータセットで構成され、各データセットに平均360万のログ行がある。 Loghub-2.0に基づいて、より厳密で実践的な環境で15の最先端のログパーサを徹底的に再評価する。 特に,不均衡なデータ分布に対する既存の指標の感度を緩和する新たな評価基準を導入する。 我々はまた、希少なシステムイベントを表すログのログパーサの粒度パフォーマンスを初めて調査し、ソフトウェア診断の詳細な情報を提供している。 このようなログの正確な解析は不可欠だが、それでも課題である。 この作業は、実運用環境でのログパーサの評価と設計に光を当てることによって、運用システムへの展開を容易にする、と私たちは考えています。

関連論文リスト

• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
  ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。 ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。 既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
  論文  参考訳（メタデータ） (2024-08-15T17:54:31Z)
• Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs [18.240096266464544]
  トレーニングプロセスやラベル付きデータを必要としない,費用対効果の高いLCMベースのログであるLogBatcherを提案する。 我々は16の公開ログデータセットの実験を行い、ログ解析にLogBatcherが有効であることを示した。
  論文  参考訳（メタデータ） (2024-06-10T10:39:28Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
  自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
  論文  参考訳（メタデータ） (2023-08-17T14:19:22Z)
• On the Effectiveness of Log Representation for Log-based Anomaly Detection [12.980238412281471]
  本研究は,従来のログ解析研究から広く採用されているログ表現技術について検討し,比較する。 6つのログ表現手法を選択し、7つのMLモデルと4つの公開ログデータセットで評価する。 また、ログ表現技術を採用する際に、ログ解析プロセスと異なる特徴集約アプローチの影響についても検討する。
  論文  参考訳（メタデータ） (2023-08-17T02:18:59Z)
• Data-Driven Approach for Log Instruction Quality Assessment [59.04636530383049]
  優れた品質特性を持つログ命令の記述方法に関するガイドラインは,広く採用されていない。 1)ログレベルの正確さを評価するための正しいログレベルの割り当てと,2)イベント記述の冗長化に必要な静的テキストの最小富度を評価する十分な言語構造である。 本手法は,F1スコア0.99の十分な言語構造を用いて,ログレベルの割当を精度0.88で正確に評価する。
  論文  参考訳（メタデータ） (2022-04-06T07:02:23Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。