Fugu-MT 論文翻訳(概要): LILAC: Log Parsing using LLMs with Adaptive Parsing Cache

論文の概要: LILAC: Log Parsing using LLMs with Adaptive Parsing Cache

arxiv url: http://arxiv.org/abs/2310.01796v3
Date: Fri, 22 Mar 2024 11:09:19 GMT
ステータス: 処理完了
システム内更新日: 2024-03-25 22:49:51.960572
Title: LILAC: Log Parsing using LLMs with Adaptive Parsing Cache
Title（参考訳）: LILAC: 適応型パーシングキャッシュを用いたLLMを用いたログパーシング
Authors: Zhihan Jiang, Jinyang Liu, Zhuangbin Chen, Yichen Li, Junjie Huang, Yintong Huo, Pinjia He, Jiazhen Gu, Michael R. Lyu,
Abstract要約: 適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。 LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。 LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
参考スコア（独自算出の注目度）: 38.04960745458878
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Log parsing transforms log messages into structured formats, serving as the prerequisite step for various log analysis tasks. Although a variety of log parsing approaches have been proposed, their performance on complicated log data remains compromised due to the use of human-crafted rules or learning-based models with limited training data. The recent emergence of powerful large language models (LLMs) demonstrates their vast pre-trained knowledge related to code and logging, making it promising to apply LLMs for log parsing. However, their lack of specialized log parsing capabilities currently hinders their accuracy in parsing. Moreover, the inherent inconsistent answers, as well as the substantial overhead, prevent the practical adoption of LLM-based log parsing. To address these challenges, we propose LILAC, the first practical log parsing framework using LLMs with adaptive parsing cache. To facilitate accurate and robust log parsing, LILAC leverages the in-context learning (ICL) capability of the LLM by performing a hierarchical candidate sampling algorithm and selecting high-quality demonstrations. Furthermore, LILAC incorporates a novel component, an adaptive parsing cache, to store and refine the templates generated by the LLM. It helps mitigate LLM's inefficiency issue by enabling rapid retrieval of previously processed log templates. In this process, LILAC adaptively updates the templates within the parsing cache to ensure the consistency of parsed results. The extensive evaluation on public large-scale datasets shows that LILAC outperforms state-of-the-art methods by 69.5% in terms of the average F1 score of template accuracy. In addition, LILAC reduces the query times to LLMs by several orders of magnitude, achieving a comparable efficiency to the fastest baseline.
Abstract（参考訳）: ログ解析はログメッセージを構造化フォーマットに変換し、さまざまなログ解析タスクの必須ステップとして機能する。様々なログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータを用いた学習モデルを用いることで、複雑なログデータのパフォーマンスが損なわれている。最近の強力な大規模言語モデル(LLM)の出現は、コードとロギングに関する膨大な事前訓練された知識を示し、ログ解析にLLMを適用することを約束している。しかし、ログ解析能力の欠如は、現在解析の正確さを妨げている。さらに、固有の一貫性のない回答とかなりのオーバーヘッドは、LLMベースのログ解析の実践的採用を妨げる。これらの課題に対処するため,適応型パーシングキャッシュを用いた LLM を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。高精度でロバストなログ解析を容易にするため、LILACは階層的候補サンプリングアルゴリズムを実行し、高品質なデモを選択することで、LLMのコンテキスト内学習(ICL)能力を活用する。さらに、LILACは、LCMによって生成されたテンプレートを保存および洗練するために、新しいコンポーネントである適応解析キャッシュを組み込んでいる。これは、以前処理されたログテンプレートの迅速な検索を可能にすることで、LLMの不効率問題を緩和するのに役立つ。このプロセスでは、LILACは解析された結果の一貫性を確保するために、解析キャッシュ内のテンプレートを適応的に更新する。パブリックな大規模データセットに対する広範な評価は、LILACがテンプレートの精度のF1スコアの平均で最先端の手法を69.5%上回っていることを示している。加えて、LILACはクエリ時間を数桁のLLMに短縮し、最速のベースラインに匹敵する効率を達成する。

関連論文リスト

LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
LLM機能と統合された新しいログであるLog-LLMを紹介する。粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
論文参考訳（メタデータ） (2024-08-25T05:34:24Z)
LibreLog: Accurate and Efficient Unsupervised Log Parsing Using Open-Source Large Language Models [3.7960472831772774]
本稿では,オープンソースのLLMを活用した教師なしログ解析手法であるOpenLogを紹介する。 OpenLogは、最先端の解析精度を確保しながら、プライバシとコストの懸念に対処する。
論文参考訳（メタデータ） (2024-08-02T21:54:13Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文参考訳（メタデータ） (2024-06-25T04:27:53Z)
LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
LUNARは,効率的かつ市販のログ解析のための教師なし手法である。我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
論文参考訳（メタデータ） (2024-06-11T11:32:01Z)
Log Parsing with Self-Generated In-Context Learning and Self-Correction [15.93927602769091]
さまざまなログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータによる学習ベースモデルに依存しているため、ログデータの進化に対する彼らのパフォーマンスは満足できないままである。本稿では,自己生成型インコンテキスト学習(SG-ICL)と自己補正を併用したLLMを用いた効果的かつ適応的なログ解析フレームワークであるAdaを提案する。
論文参考訳（メタデータ） (2024-06-05T15:31:43Z)
One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文参考訳（メタデータ） (2024-05-30T03:44:54Z)
LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing [8.647406441990396]
ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
論文参考訳（メタデータ） (2024-04-27T20:34:29Z)
Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文参考訳（メタデータ） (2024-03-09T07:01:44Z)
Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。既存のアプローチは、ログ特化や手動ルール抽出に依存している。本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。