論文の概要: LILAC: Log Parsing using LLMs with Adaptive Parsing Cache
- arxiv url: http://arxiv.org/abs/2310.01796v2
- Date: Thu, 1 Feb 2024 04:21:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 19:16:57.095309
- Title: LILAC: Log Parsing using LLMs with Adaptive Parsing Cache
- Title(参考訳): LILAC: 適応型パーシングキャッシュを用いたLLMを用いたログパーシング
- Authors: Zhihan Jiang, Jinyang Liu, Zhuangbin Chen, Yichen Li, Junjie Huang,
Yintong Huo, Pinjia He, Jiazhen Gu and Michael R. Lyu
- Abstract要約: 適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。
LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。
LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
- 参考スコア(独自算出の注目度): 39.48049653109756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Log parsing transforms log messages into structured formats, serving as the
prerequisite step for various log analysis tasks. Although a variety of log
parsing approaches have been proposed, their performance on complicated log
data remains compromised due to the use of human-crafted rules or
learning-based models with limited training data. The recent emergence of
powerful large language models (LLMs) demonstrates their vast pre-trained
knowledge related to code and logging, making it promising to apply LLMs for
log parsing. However, their lack of specialized log parsing capabilities
currently hinders their accuracy in parsing. Moreover, the inherent
inconsistent answers, as well as the substantial overhead, prevent the
practical adoption of LLM-based log parsing.
To address these challenges, we propose LILAC, the first practical log
parsing framework using LLMs with adaptive parsing cache. To facilitate
accurate and robust log parsing, LILAC leverages the in-context learning (ICL)
capability of the LLM by performing a hierarchical candidate sampling algorithm
and selecting high-quality demonstrations. Furthermore, LILAC incorporates a
novel component, an adaptive parsing cache, to store and refine the templates
generated by the LLM. It helps mitigate LLM's inefficiency issue by enabling
rapid retrieval of previously processed log templates. In this process, LILAC
adaptively updates the templates within the parsing cache to ensure the
consistency of parsed results. The extensive evaluation on public large-scale
datasets shows that LILAC outperforms state-of-the-art methods by 69.5% in
terms of the average F1 score of template accuracy. In addition, LILAC reduces
the query times to LLMs by several orders of magnitude, achieving a comparable
efficiency to the fastest baseline.
- Abstract(参考訳): ログ解析はログメッセージを構造化フォーマットに変換し、さまざまなログ分析タスクの前提ステップとして機能する。
様々なログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータを用いた学習モデルを用いることで、複雑なログデータのパフォーマンスが損なわれている。
最近の強力な大規模言語モデル(LLM)の出現は、コードとロギングに関する膨大な事前訓練された知識を示し、ログ解析にLLMを適用することを約束している。
しかし、特別なログ解析機能がないため、構文解析の精度が損なわれる。
さらに、固有の一貫性のない回答とかなりのオーバーヘッドは、LLMベースのログ解析の実践的採用を妨げる。
これらの課題に対処するため,適応型パーシングキャッシュを用いた LLM を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。
高精度でロバストなログ解析を容易にするため、LILACは階層的候補サンプリングアルゴリズムを実行し、高品質なデモを選択することで、LLMのコンテキスト内学習(ICL)能力を活用する。
さらに、LILACは、LCMによって生成されたテンプレートを保存および洗練するために、新しいコンポーネントである適応解析キャッシュを組み込んでいる。
これは、以前処理されたログテンプレートの迅速な検索を可能にすることで、LLMの不効率問題を緩和するのに役立つ。
このプロセスでは、LILACは解析された結果の一貫性を確保するために、解析キャッシュ内のテンプレートを適応的に更新する。
公開大規模データセットの広範な評価は、テンプレート精度の平均f1スコアでlilacが最先端の手法を69.5%上回っていることを示している。
加えて、LILACはクエリ時間を数桁のLLMに短縮し、最速のベースラインに匹敵する効率を達成する。
関連論文リスト
- LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing [8.647406441990396]
ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。
例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。
また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
論文 参考訳(メタデータ) (2024-04-27T20:34:29Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳(メタデータ) (2024-03-09T07:01:44Z) - Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging [33.522495018321386]
textbfEntropy サンプリングと Chain-of-Thought textbfMerging (Lemur) を用いた最先端 textbfLog 解析フレームワークを提案する。
本稿では,典型的なログを効率的にクラスタリングする情報エントロピーにインスパイアされた新しいサンプリング手法を提案する。
Lemurは最先端のパフォーマンスと素晴らしい効率を実現している。
論文 参考訳(メタデータ) (2024-02-28T09:51:55Z) - DoLa: Decoding by Contrasting Layers Improves Factuality in Large
Language Models [79.01926242857613]
大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。
事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。
コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
論文 参考訳(メタデータ) (2023-09-07T17:45:31Z) - Learning Representations on Logs for AIOps [6.47086647390439]
大規模言語モデル(LLM)は、膨大な量のラベルのないデータに基づいて自己監督を用いて訓練される。
本稿では,パブリックおよびプロプライエタリなログデータに基づいてトレーニングされたログデータのためのLLMを提案する。
提案するLLMは,公開およびプロプライエタリなログデータに基づいてトレーニングされ,複数のダウンストリームタスクにおいて優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2023-08-18T20:34:46Z) - Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。
まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
論文 参考訳(メタデータ) (2023-07-12T06:32:51Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z) - Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。
LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
論文 参考訳(メタデータ) (2023-04-10T09:55:14Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳(メタデータ) (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。