論文の概要: LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing
- arxiv url: http://arxiv.org/abs/2404.18001v1
- Date: Sat, 27 Apr 2024 20:34:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-30 18:12:38.688777
- Title: LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing
- Title（参考訳）: LLMParser:ログ解析における大規模言語モデルの利用に関する探索的研究
- Authors: Zeyang Ma, An Ran Chen, Dong Jae Kim, Tse-Hsun Chen, Shaowei Wang,
- Abstract要約: ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。
例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。
また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
- 参考スコア（独自算出の注目度）: 8.647406441990396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Logs are important in modern software development with runtime information. Log parsing is the first step in many log-based analyses, that involve extracting structured information from unstructured log data. Traditional log parsers face challenges in accurately parsing logs due to the diversity of log formats, which directly impacts the performance of downstream log-analysis tasks. In this paper, we explore the potential of using Large Language Models (LLMs) for log parsing and propose LLMParser, an LLM-based log parser based on generative LLMs and few-shot tuning. We leverage four LLMs, Flan-T5-small, Flan-T5-base, LLaMA-7B, and ChatGLM-6B in LLMParsers. Our evaluation of 16 open-source systems shows that LLMParser achieves statistically significantly higher parsing accuracy than state-of-the-art parsers (a 96% average parsing accuracy). We further conduct a comprehensive empirical analysis on the effect of training size, model size, and pre-training LLM on log parsing accuracy. We find that smaller LLMs may be more effective than more complex LLMs; for instance where Flan-T5-base achieves comparable results as LLaMA-7B with a shorter inference time. We also find that using LLMs pre-trained using logs from other systems does not always improve parsing accuracy. While using pre-trained Flan-T5-base shows an improvement in accuracy, pre-trained LLaMA results in a decrease (decrease by almost 55% in group accuracy). In short, our study provides empirical evidence for using LLMs for log parsing and highlights the limitations and future research direction of LLM-based log parsers.
- Abstract（参考訳）: ログは、実行時情報を持つ現代のソフトウェア開発において重要である。
ログ解析は多くのログベースの分析において、構造化されていないログデータから構造化された情報を抽出する最初のステップである。
従来のログパーザは、ログフォーマットの多様性のため、ログを正確に解析する際の課題に直面している。
本稿では,ログ解析にLumge Language Models (LLMs) を用いることの可能性を検討するとともに,LLMを用いたログ解析システム LLMParser を提案する。
LLMParsersでは4つのLLM, Flan-T5-small, Flan-T5-base, LLaMA-7B, ChatGLM-6Bを利用する。
16個のオープンソースシステムについて評価したところ,LLMParserは最先端のパーサ(平均解析精度96%)よりも統計的に高い解析精度が得られることがわかった。
さらに、トレーニングサイズ、モデルサイズ、事前学習LLMがログ解析精度に与える影響について、総合的な実証分析を行う。
例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短い推論時間で達成する。
また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
プレトレーニングされたFlan-T5ベースを使用することで精度が向上する一方、プレトレーニングされたLLaMAは減少する(グループ精度が約55%低下する)。
本研究は,LLMをログ解析に用いた経験的証拠を提供し,LLMを用いたログ解析の限界と今後の研究方向性を明らかにする。
関連論文リスト
- Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。
本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
論文 参考訳（メタデータ） (2024-10-11T03:52:17Z) - LibreLog: Accurate and Efficient Unsupervised Log Parsing Using Open-Source Large Language Models [3.7960472831772774]
本稿では,非教師なしのログ解析手法であるLibreLogを紹介する。
LogHub-2.0の評価では、LibreLogは最先端のLCMに比べて25%高い解析精度とプロセス2.7倍の高速化を実現している。
論文 参考訳（メタデータ） (2024-08-02T21:54:13Z) - SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。
学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。
ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文 参考訳（メタデータ） (2024-07-16T04:41:58Z) - LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
LUNARは,効率的かつ市販のログ解析のための教師なし手法である。
我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。
大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-11T11:32:01Z) - Log Parsing with Self-Generated In-Context Learning and Self-Correction [15.93927602769091]
さまざまなログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータによる学習ベースモデルに依存しているため、ログデータの進化に対する彼らのパフォーマンスは満足できないままである。
本稿では,自己生成型インコンテキスト学習(SG-ICL)と自己補正を併用したLLMを用いた効果的かつ適応的なログ解析フレームワークであるAdaを提案する。
論文 参考訳（メタデータ） (2024-06-05T15:31:43Z) - Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。
私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。
実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文 参考訳（メタデータ） (2024-03-09T07:01:44Z) - Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。
大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。
英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文 参考訳（メタデータ） (2023-12-21T05:32:49Z) - LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。
本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。
実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文 参考訳（メタデータ） (2023-11-14T01:38:02Z) - LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [38.04960745458878]
適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。
LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。
LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
論文 参考訳（メタデータ） (2023-10-03T04:46:59Z) - Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。
まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
論文 参考訳（メタデータ） (2023-07-12T06:32:51Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳（メタデータ） (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。