Fugu-MT 論文翻訳(概要): LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing

論文の概要: LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing

arxiv url: http://arxiv.org/abs/2404.18001v1
Date: Sat, 27 Apr 2024 20:34:29 GMT
ステータス: 処理完了
システム内更新日: 2024-04-30 18:12:38.688777
Title: LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing
Title（参考訳）: LLMParser:ログ解析における大規模言語モデルの利用に関する探索的研究
Authors: Zeyang Ma, An Ran Chen, Dong Jae Kim, Tse-Hsun Chen, Shaowei Wang,
Abstract要約: ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
参考スコア（独自算出の注目度）: 8.647406441990396
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Logs are important in modern software development with runtime information. Log parsing is the first step in many log-based analyses, that involve extracting structured information from unstructured log data. Traditional log parsers face challenges in accurately parsing logs due to the diversity of log formats, which directly impacts the performance of downstream log-analysis tasks. In this paper, we explore the potential of using Large Language Models (LLMs) for log parsing and propose LLMParser, an LLM-based log parser based on generative LLMs and few-shot tuning. We leverage four LLMs, Flan-T5-small, Flan-T5-base, LLaMA-7B, and ChatGLM-6B in LLMParsers. Our evaluation of 16 open-source systems shows that LLMParser achieves statistically significantly higher parsing accuracy than state-of-the-art parsers (a 96% average parsing accuracy). We further conduct a comprehensive empirical analysis on the effect of training size, model size, and pre-training LLM on log parsing accuracy. We find that smaller LLMs may be more effective than more complex LLMs; for instance where Flan-T5-base achieves comparable results as LLaMA-7B with a shorter inference time. We also find that using LLMs pre-trained using logs from other systems does not always improve parsing accuracy. While using pre-trained Flan-T5-base shows an improvement in accuracy, pre-trained LLaMA results in a decrease (decrease by almost 55% in group accuracy). In short, our study provides empirical evidence for using LLMs for log parsing and highlights the limitations and future research direction of LLM-based log parsers.
Abstract（参考訳）: ログは、実行時情報を持つ現代のソフトウェア開発において重要である。ログ解析は多くのログベースの分析において、構造化されていないログデータから構造化された情報を抽出する最初のステップである。従来のログパーザは、ログフォーマットの多様性のため、ログを正確に解析する際の課題に直面している。本稿では,ログ解析にLumge Language Models (LLMs) を用いることの可能性を検討するとともに,LLMを用いたログ解析システム LLMParser を提案する。 LLMParsersでは4つのLLM, Flan-T5-small, Flan-T5-base, LLaMA-7B, ChatGLM-6Bを利用する。 16個のオープンソースシステムについて評価したところ,LLMParserは最先端のパーサ(平均解析精度96%)よりも統計的に高い解析精度が得られることがわかった。さらに、トレーニングサイズ、モデルサイズ、事前学習LLMがログ解析精度に与える影響について、総合的な実証分析を行う。例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短い推論時間で達成する。また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。プレトレーニングされたFlan-T5ベースを使用することで精度が向上する一方、プレトレーニングされたLLaMAは減少する(グループ精度が約55%低下する)。本研究は,LLMをログ解析に用いた経験的証拠を提供し,LLMを用いたログ解析の限界と今後の研究方向性を明らかにする。

関連論文リスト

ULog: Unsupervised Log Parsing with Large Language Models through Log Contrastive Units [34.344687402936835]
ULogは,効率的かつ既製のログ解析のための教師なしの手法である。ログのこのようなグループをログコントラスト単位(Log Contrastive Units, LCU)と呼ぶ。 ULogは、LLMがコントラストパターンを特定し、LCUから意味のあるログ構造を抽出するための、新しい解析プロンプトを作成する。
論文参考訳（メタデータ） (2024-06-11T11:32:01Z)
Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs [18.240096266464544]
トレーニングプロセスやラベル付きデータを必要としない,費用対効果の高いLCMベースのログであるLogBatcherを提案する。我々は16の公開ログデータセットの実験を行い、ログ解析にLogBatcherが有効であることを示した。
論文参考訳（メタデータ） (2024-06-10T10:39:28Z)
Log Parsing with Self-Generated In-Context Learning and Self-Correction [15.93927602769091]
さまざまなログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータによる学習ベースモデルに依存しているため、ログデータの進化に対する彼らのパフォーマンスは満足できないままである。本稿では,自己生成型インコンテキスト学習(SG-ICL)と自己補正を併用したLLMを用いた効果的かつ適応的なログ解析フレームワークであるAdaを提案する。
論文参考訳（メタデータ） (2024-06-05T15:31:43Z)
MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents [62.02920842630234]
GPT-4レベルの性能を持つ小型モデルを400倍のコストで構築する方法を示す。既存のデータセットを LLM-AggreFact ベンチマークにまとめる。我々の最良のシステム MiniCheck-FT5 (770Mパラメータ) は、同等の大きさの全てのシステムより優れ、GPT-4精度に達する。
論文参考訳（メタデータ） (2024-04-16T17:59:10Z)
Optimizing LLM Queries in Relational Workloads [58.254894049950366]
本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
論文参考訳（メタデータ） (2024-03-09T07:01:44Z)
A & B == B & A: Triggering Logical Reasoning Failures in Large Language Models [65.86149763739141]
LogicAskerはLLMの論理的推論能力を総合的に評価し改善する自動手法である。 LogicAsker は GPT-3, ChatGPT, GPT-4, Bard, Vicuna, Guanaco の6種類の LLM に対して評価を行った。その結果、LogicAskerのテストケースは、異なるLLMで論理的推論失敗を25%から94%の確率で発見できることがわかった。
論文参考訳（メタデータ） (2024-01-01T13:53:53Z)
Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
論文参考訳（メタデータ） (2023-12-21T05:32:49Z)
LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
論文参考訳（メタデータ） (2023-11-14T01:38:02Z)
LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [38.04960745458878]
適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。 LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。 LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
論文参考訳（メタデータ） (2023-10-03T04:46:59Z)
Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
論文参考訳（メタデータ） (2023-07-12T06:32:51Z)
Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。既存のアプローチは、ログ特化や手動ルール抽出に依存している。本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。