論文の概要: Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging
- arxiv url: http://arxiv.org/abs/2402.18205v2
- Date: Sat, 2 Mar 2024 03:47:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 19:22:36.972707
- Title: Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging
- Title(参考訳): Lemur: エントロピーサンプリングとチェーン・オブ・サートマージによるログ解析
- Authors: Wei Zhang, Hongcheng Guo, Anjie Le, Jian Yang, Jiaheng Liu, Zhoujun
Li, Tieqiao Zheng, Shi Xu, Runqiang Zang, Liangfan Zheng, Bo Zhang
- Abstract要約: textbfEntropy サンプリングと Chain-of-Thought textbfMerging (Lemur) を用いた最先端 textbfLog 解析フレームワークを提案する。
本稿では,典型的なログを効率的にクラスタリングする情報エントロピーにインスパイアされた新しいサンプリング手法を提案する。
Lemurは最先端のパフォーマンスと素晴らしい効率を実現している。
- 参考スコア(独自算出の注目度): 33.522495018321386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Logs produced by extensive software systems are integral to monitoring system
behaviors. Advanced log analysis facilitates the detection, alerting, and
diagnosis of system faults. Log parsing, which entails transforming raw log
messages into structured templates, constitutes a critical phase in the
automation of log analytics. Existing log parsers fail to identify the correct
templates due to reliance on human-made rules. Besides, These methods focus on
statistical features while ignoring semantic information in log messages. To
address these challenges, we introduce a cutting-edge \textbf{L}og parsing
framework with \textbf{E}ntropy sampling and Chain-of-Thought \textbf{M}erging
(Lemur). Specifically, to discard the tedious manual rules. We propose a novel
sampling method inspired by information entropy, which efficiently clusters
typical logs. Furthermore, to enhance the merging of log templates, we design a
chain-of-thought method for large language models (LLMs). LLMs exhibit
exceptional semantic comprehension, deftly distinguishing between parameters
and invariant tokens. We have conducted experiments on large-scale public
datasets. Extensive evaluation demonstrates that Lemur achieves the
state-of-the-art performance and impressive efficiency.
- Abstract(参考訳): 広範なソフトウェアシステムによって生成されるログは、システムの振る舞いを監視するのに不可欠である。
高度なログ分析は、システム障害の検出、警告、診断を容易にする。
生ログメッセージを構造化テンプレートに変換するログ解析は、ログ分析の自動化において重要なフェーズを構成する。
既存のログパーサは、ヒューマンメイドのルールに依存するため、正しいテンプレートを識別できない。
さらに,これらの手法はログメッセージ中の意味情報を無視しながら,統計的特徴に重点を置いている。
これらの課題に対処するため,近縁な \textbf{L}og 解析フレームワークに \textbf{E}ntropy sample と Chain-of-Thought \textbf{M}erging (Lemur) を導入した。
具体的には、面倒なマニュアルルールを捨てる。
本稿では,典型的なログを効率的に収集する情報エントロピーに触発された新しいサンプリング手法を提案する。
さらに,ログテンプレートのマージを強化するために,大規模言語モデル(LLM)のチェーン・オブ・シント法を設計する。
LLMは例外的な意味理解を示し、パラメータと不変トークンをはっきりと区別する。
大規模な公開データセットの実験を行った。
広範な評価は、lemurが最先端のパフォーマンスと印象的な効率を実現していることを示している。
関連論文リスト
- LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。
具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。
そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文 参考訳(メタデータ) (2024-01-09T12:55:21Z) - LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [39.48049653109756]
適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。
LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。
LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
論文 参考訳(メタデータ) (2023-10-03T04:46:59Z) - GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。
システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
論文 参考訳(メタデータ) (2023-09-12T04:21:30Z) - A Large-scale Benchmark for Log Parsing [44.16309634200891]
さまざまなログデータセットが存在しており、これらのツールをベンチマークして機能やパフォーマンスを理解することが不可欠である。
ログ解析のための既存のデータセットは、スケールと代表性の点で制限されている。
我々は,実世界のソフトウェアシステムで観測されるログデータをより正確に反映した,LogPubという,大規模アノテートログデータセットのコレクションを導入する。
論文 参考訳(メタデータ) (2023-08-21T16:24:15Z) - MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳(メタデータ) (2022-12-16T17:36:23Z) - LogLG: Weakly Supervised Log Anomaly Detection via Log-Event Graph
Construction [31.31712326361932]
そこで本研究では,LogLGという名前のログ異常検出フレームワークを提案し,シーケンスからキーワード間のセマンティックな関係を探索する。
具体的には、ラベルなしログのキーワードを最初に抽出してログイベントグラフを構築するエンド・ツー・エンドの反復処理を設計する。
そして、未ラベルのログシーケンスの擬似ラベルを生成するために、サブグラフアノテータを構築する。
論文 参考訳(メタデータ) (2022-08-23T09:32:19Z) - Log2NS: Enhancing Deep Learning Based Analysis of Logs With Formal to
Prevent Survivorship Bias [0.37943450391498496]
本稿では,機械学習(ML)による観測データに対する確率的解析と,基礎となる形式モデルに基づく記号的推論から導出される確実性を組み合わせたフレームワークであるlog to Neuro-symbolic (Log2NS)を紹介する。
Log2NSは、静的ログと相関エンジンからポジティブなインスタンスを問い合わせる機能と、ネガティブなインスタンスと目に見えないインスタンスの正式な推論を提供する。
論文 参考訳(メタデータ) (2021-05-29T00:01:08Z) - Robust and Transferable Anomaly Detection in Log Data using Pre-Trained
Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。
システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-23T09:17:05Z) - Self-Attentive Classification-Based Anomaly Detection in Unstructured
Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。
従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文 参考訳(メタデータ) (2020-08-21T07:26:55Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳(メタデータ) (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。