論文の概要: LogLSHD: Fast Log Parsing with Locality-Sensitive Hashing and Dynamic Time Warping

• arxiv url: http://arxiv.org/abs/2504.02172v1
• Date: Wed, 02 Apr 2025 23:08:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-04 12:57:41.588295
• Title: LogLSHD: Fast Log Parsing with Locality-Sensitive Hashing and Dynamic Time Warping
• Title（参考訳）: LogLSHD: ローカル性に敏感なハッシュと動的タイムワープを備えた高速ログ解析
• Authors: Shu-Wei Huang, Xingfang Wu, Heng Li,
• Abstract要約: 大規模ソフトウェアシステムは、監視、診断、性能最適化に不可欠な大量のシステムログを生成する。 LogLSHDは解析時間において例外的な効率を示し、最先端の手法よりも優れています。 例えば、Drainと比較して、LogLSHDは平均パース時間を73%削減し、LogHub 2.0ベンチマークでは平均パース精度を15%向上した。
• 参考スコア（独自算出の注目度）: 2.415288727960745
• License:
• Abstract: Large-scale software systems generate vast volumes of system logs that are essential for monitoring, diagnosing, and performance optimization. However, the unstructured nature and ever-growing scale of these logs present significant challenges for manual analysis and automated downstream tasks such as anomaly detection. Log parsing addresses these challenges by converting raw logs into structured formats, enabling efficient log analysis. Despite its importance, existing log parsing methods suffer from limitations in efficiency and scalability, due to the large size of log data and their heterogeneous formats. To overcome these challenges, this study proposes a log parsing approach, LogLSHD, which leverages Locality-Sensitive Hashing (LSH) to group similar logs and integrates Dynamic Time Warping (DTW) to enhance the accuracy of template extraction. LogLSHD demonstrates exceptional efficiency in parsing time, significantly outperforming state-of-the-art methods. For example, compared to Drain, LogLSHD reduces the average parsing time by 73% while increasing the average parsing accuracy by 15% on the LogHub 2.0 benchmark.
• Abstract（参考訳）: 大規模ソフトウェアシステムは、監視、診断、性能最適化に不可欠な大量のシステムログを生成する。 しかし、これらのログの非構造化の性質と拡大するスケールは、手動解析や異常検出などの下流タスクの自動化に重大な課題をもたらしている。 ログ解析は、生のログを構造化フォーマットに変換し、効率的なログ解析を可能にすることで、これらの課題に対処する。 その重要性にもかかわらず、既存のログ解析手法は、ログデータの大きさと不均一なフォーマットのため、効率とスケーラビリティの限界に悩まされている。 これらの課題を克服するために、同様のログをグループ化するためにLocality-Sensitive Hashing(LSH)を活用し、テンプレート抽出の精度を高めるためにDynamic Time Warping(DTW)を統合するLogLSHDというログ解析手法を提案する。 LogLSHDは解析時間において例外的な効率を示し、最先端の手法よりも優れています。 例えば、Drainと比較して、LogLSHDは平均パース時間を73%削減し、LogHub 2.0ベンチマークでは平均パース精度を15%向上した。

関連論文リスト

• LogLLM: Log-based Anomaly Detection Using Large Language Models [7.7704116297749675]
  大規模言語モデル(LLM)を活用するログベースの異常検出フレームワークであるLogLLMを提案する。 LogLLMはBERTを使用してログメッセージからセマンティックベクターを抽出し、変換器デコーダベースのモデルであるLlamaを使ってログシーケンスを分類する。 我々のフレームワークは、性能と適応性を高めるために設計された新しい3段階の手順によって訓練されている。
  論文  参考訳（メタデータ） (2024-11-13T12:18:00Z)
• LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
  LLM機能と統合された新しいログであるLog-LLMを紹介する。 粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。 提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
  論文  参考訳（メタデータ） (2024-08-25T05:34:24Z)
• HELP: Hierarchical Embeddings-based Log Parsing [0.25112747242081457]
  ログは、ソフトウェアのメンテナンスと障害診断のための、第一級の情報ソースである。 ログ解析は、異常検出、トラブルシューティング、根本原因分析などの自動ログ解析タスクの前提条件である。 既存のオンライン解析アルゴリズムは、ログドリフトの影響を受けやすい。
  論文  参考訳（メタデータ） (2024-08-15T17:54:31Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
  実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。 我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
  論文  参考訳（メタデータ） (2023-08-21T16:24:15Z)
• Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
  自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
  論文  参考訳（メタデータ） (2023-08-17T14:19:22Z)
• ClusterLog: Clustering Logs for Effective Log-based Anomaly Detection [3.3196401064045014]
  本研究では,ログキーの時間列を意味的類似性に基づいてクラスタリングするログ前処理手法であるClusterLogを提案する。 セマンティックおよび感傷的に類似したログをグループ化することにより、ダウンストリームシーケンスベースのモデルでログパターンを効果的に学習する能力を改善することを目的として、単一のログキーでログシーケンスを表現することを目的としている。
  論文  参考訳（メタデータ） (2023-01-19T01:54:48Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。