論文の概要: LLMParser: A LLM-based Log Parsing Framework
- arxiv url: http://arxiv.org/abs/2310.01796v1
- Date: Tue, 3 Oct 2023 04:46:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 05:04:50.629455
- Title: LLMParser: A LLM-based Log Parsing Framework
- Title(参考訳): LLMParser: LLMベースのログ解析フレームワーク
- Authors: Zhihan Jiang, Jinyang Liu, Zhuangbin Chen, Yichen Li, Junjie Huang,
Yintong Huo, Pinjia He, Jiazhen Gu and Michael R. Lyu
- Abstract要約: 最近の強力な大規模言語モデル(LLM)の台頭は、コードとロギングに関する広範な事前訓練された知識のため、ログ解析の可能性を示している。
しかし、その正確性は現在、特殊なログ解析機能が欠如しているため制限されている。
LLM は LLM ベースのログ解析フレームワークである。
- 参考スコア(独自算出の注目度): 39.48049653109756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The process of log parsing, which converts log messages into structured
formats, is a crucial step for various log analysis tasks. Although numerous
log parsers have been proposed, their effectiveness on complex log data is
often hindered due to reliance on human-made rules or learning-based models
with limited training data. The recent rise of powerful large language models
(LLMs) shows potential for log parsing due to their extensive pre-trained
knowledge related to code and logging. However, their accuracy is currently
limited due to the lack of specialized log parsing capabilities. Additionally,
the inconsistency of their answers and significant overhead obstruct the
practical implementation of LLM-based log parsing.
To tackle these challenges, we introduce LLMParser, the first practical
LLM-based log parsing framework. LLMParser enables accurate and robust log
parsing by leveraging the in-context learning (ICL) capability of the LLM,
employing a hierarchical candidate sampling algorithm, and selecting
high-quality demonstrations. LLMParser also includes a novel adaptive parsing
cache component to store and refine the templates generated by the LLM. This
design aids in addressing the inefficiency of LLMs by rapid matching to
previously parsed log templates. LLMParser also adaptively updates the
templates in the parsing cache to ensure consistent parsed results. Extensive
evaluation on large-scale public datasets demonstrates that LLMParser surpasses
the state-of-the-art methods. Furthermore, LLMParser significantly reduces the
query times to LLMs, achieving efficiency comparable to the most efficient
baseline, Drain.
- Abstract(参考訳): ログメッセージを構造化フォーマットに変換するログ解析のプロセスは、さまざまなログ分析タスクにとって重要なステップである。
多くのログパーサが提案されているが、複雑なログデータに対する効果は、人為的なルールや限られたトレーニングデータによる学習ベースモデルに依存するため、しばしば妨げられる。
最近の強力な大規模言語モデル(LLM)の台頭は、コードとロギングに関する広範な事前訓練された知識のため、ログ解析の可能性を示している。
しかし、その正確性は現在、特殊なログ解析機能がないために制限されている。
さらに、回答の不一致と重大なオーバーヘッドは、llmベースのログ解析の実践的実装を妨げる。
これらの課題に対処するために、最初の実用的なLLMベースのログ解析フレームワークであるLLMParserを紹介する。
LLMParserは、LLMのコンテキスト内学習(ICL)機能を活用し、階層的候補サンプリングアルゴリズムを使用し、高品質な実演を選択することにより、正確で堅牢なログ解析を可能にする。
LLMParserはまた、LLMによって生成されたテンプレートを保存および洗練するための新しい適応解析キャッシュコンポーネントを含んでいる。
この設計は、以前解析されたログテンプレートに迅速にマッチングすることで、LLMの非効率性に対処するのに役立つ。
LLMParserはまた、解析キャッシュ内のテンプレートを適応的に更新し、一貫性のある解析結果を保証する。
大規模な公開データセットの広範な評価は、llmparserが最先端のメソッドを上回っていることを示している。
さらに、LLMParserはクエリ時間をLLMに大幅に短縮し、最も効率的なベースラインであるDrainに匹敵する効率を達成する。
関連論文リスト
- LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing [8.647406441990396]
ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。
例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。
また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
論文 参考訳(メタデータ) (2024-04-27T20:34:29Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging [33.522495018321386]
textbfEntropy サンプリングと Chain-of-Thought textbfMerging (Lemur) を用いた最先端 textbfLog 解析フレームワークを提案する。
本稿では,典型的なログを効率的にクラスタリングする情報エントロピーにインスパイアされた新しいサンプリング手法を提案する。
Lemurは最先端のパフォーマンスと素晴らしい効率を実現している。
論文 参考訳(メタデータ) (2024-02-28T09:51:55Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳(メタデータ) (2023-09-07T17:45:31Z) - Learning Representations on Logs for AIOps [6.47086647390439]
大規模言語モデル(LLM)は、膨大な量のラベルのないデータに基づいて自己監督を用いて訓練される。
本稿では,パブリックおよびプロプライエタリなログデータに基づいてトレーニングされたログデータのためのLLMを提案する。
提案するLLMは,公開およびプロプライエタリなログデータに基づいてトレーニングされ,複数のダウンストリームタスクにおいて優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2023-08-18T20:34:46Z) - Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。
まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
論文 参考訳(メタデータ) (2023-07-12T06:32:51Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。
LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
論文 参考訳(メタデータ) (2023-04-10T09:55:14Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳(メタデータ) (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。