論文の概要: Log Parsing Evaluation in the Era of Modern Software Systems

• arxiv url: http://arxiv.org/abs/2308.09003v1
• Date: Thu, 17 Aug 2023 14:19:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 13:50:50.840915
• Title: Log Parsing Evaluation in the Era of Modern Software Systems
• Title（参考訳）: 現代のソフトウェアシステム時代におけるログ解析の評価
• Authors: Stefan Petrescu, Floris den Hengst, Alexandru Uta, Jan S. Rellermeyer
• Abstract要約: 自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
• 参考スコア（独自算出の注目度）: 47.370291246632114
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Due to the complexity and size of modern software systems, the amount of logs generated is tremendous. Hence, it is infeasible to manually investigate these data in a reasonable time, thereby requiring automating log analysis to derive insights about the functioning of the systems. Motivated by an industry use-case, we zoom-in on one integral part of automated log analysis, log parsing, which is the prerequisite to deriving any insights from logs. Our investigation reveals problematic aspects within the log parsing field, particularly its inefficiency in handling heterogeneous real-world logs. We show this by assessing the 14 most-recognized log parsing approaches in the literature using (i) nine publicly available datasets, (ii) one dataset comprised of combined publicly available data, and (iii) one dataset generated within the infrastructure of a large bank. Subsequently, toward improving log parsing robustness in real-world production scenarios, we propose a tool, Logchimera, that enables estimating log parsing performance in industry contexts through generating synthetic log data that resemble industry logs. Our contributions serve as a foundation to consolidate past research efforts, facilitate future research advancements, and establish a strong link between research and industry log parsing.
• Abstract（参考訳）: 現代のソフトウェアシステムの複雑さとサイズのため、生成されるログの量は膨大です。 したがって、これらのデータを適切な時間で手動で調査することは不可能であり、システム機能に関する洞察を導き出すためにログ分析の自動化が必要である。 業界のユースケースに動機づけられて、ログの自動分析、ログ解析という、ログからの洞察を引き出すための前提条件のひとつにズームインしました。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 文献における14の最も認識されたログ解析手法を評価することで、これを実証する。 (i)9つの公開データセット 二 公に入手可能な総合データからなる一のデータセット、及び (iii)大銀行のインフラ内で生成された1つのデータセット。 次に,実運用シナリオにおけるログ解析の堅牢性を改善するために,産業ログに類似した合成ログデータを生成することにより,産業コンテキストにおけるログ解析性能を推定するツールlogchimeraを提案する。 我々の貢献は、過去の研究活動を統合し、将来の研究の進展を促進し、研究と産業ログ解析の強いつながりを確立する基盤となる。

関連論文リスト

• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
  ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。 ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。 既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
  論文  参考訳（メタデータ） (2024-08-15T17:54:31Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
  実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。 我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
  論文  参考訳（メタデータ） (2023-08-21T16:24:15Z)
• On the Effectiveness of Log Representation for Log-based Anomaly Detection [12.980238412281471]
  本研究は,従来のログ解析研究から広く採用されているログ表現技術について検討し,比較する。 6つのログ表現手法を選択し、7つのMLモデルと4つの公開ログデータセットで評価する。 また、ログ表現技術を採用する際に、ログ解析プロセスと異なる特徴集約アプローチの影響についても検討する。
  論文  参考訳（メタデータ） (2023-08-17T02:18:59Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics [40.96246300489472]
  システムログデータセットの大規模なコレクションであるloghubを収集、リリースしました。 特にloghubは、幅広いソフトウェアシステムから収集された19の現実世界のログデータセットを提供する。 この論文の執筆時点で、ログハブデータセットは、業界と学術の両方の数百の組織によって、合計で約9万回ダウンロードされている。
  論文  参考訳（メタデータ） (2020-08-14T16:17:54Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。