Fugu-MT 論文翻訳(概要): SoK: LLM-based Log Parsing

論文の概要: SoK: LLM-based Log Parsing

arxiv url: http://arxiv.org/abs/2504.04877v1
Date: Mon, 07 Apr 2025 09:41:04 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-08 14:10:19.745810
Title: SoK: LLM-based Log Parsing
Title（参考訳）: SoK: LLMベースのログ解析
Authors: Viktor Beck, Max Landauer, Markus Wurzenberger, Florian Skopik, Andreas Rauber,
Abstract要約: 本稿では,29の大規模言語モデル (LLM) に基づくログ解析手法を体系的にレビューする。我々は,学習パラダイムとプロンプトエンジニアリングパラダイム,効率・有効性向上技術,解析プロセスにおけるLLMの役割を分析した。
参考スコア（独自算出の注目度）: 2.2779174914142346
License:
Abstract: Log data, generated by software systems, provides crucial insights for tasks like monitoring, root cause analysis, and anomaly detection. Due to the vast volume of logs, automated log parsing is essential to transform semi-structured log messages into structured representations. Traditional log parsing techniques often require manual configurations, such as defining log formats or labeling data, which limits scalability and usability. Recent advances in large language models (LLMs) have introduced the new research field of LLM-based log parsing, offering potential improvements in automation and adaptability. Despite promising results, there is no structured overview of these approaches since this is a relatively new research field with the earliest advances published in late 2023. This paper systematically reviews 29 LLM-based log parsing methods, comparing their capabilities, limitations, and reliance on manual effort. We analyze the learning and prompt-engineering paradigms employed, efficiency- and effectiveness-enhancing techniques, and the role of LLMs in the parsing process. We aggregate the results of the survey in a large table comprising the characterizing features of LLM-based log parsing approaches and derive the general process of LLM-based log parsing, incorporating all reviewed approaches in a single flow chart. Additionally, we benchmark seven open-source LLM-based log parsers on public datasets and critically assess their reproducibility. Our findings summarize the advances of this new research field and provide insights for researchers and practitioners seeking efficient and user-friendly log parsing solutions, with all code and results made publicly available for transparency.
Abstract（参考訳）: ログデータは、ソフトウェアシステムが生成し、監視、根本原因分析、異常検出といったタスクに対して重要な洞察を提供する。ログの膨大な量のため、半構造化ログメッセージを構造化表現に変換するには、自動ログ解析が不可欠である。従来のログ解析技術では、ログフォーマットの定義やデータのラベル付けなど、手動で設定する必要があることが多いため、スケーラビリティとユーザビリティが制限される。大規模言語モデル(LLM)の最近の進歩は、LLMベースのログ解析の新たな研究分野を導入し、自動化と適応性の向上をもたらす。有望な成果にもかかわらず、2023年後半に発表された比較的新しい研究分野であるため、これらのアプローチの概観は構造化されていない。本稿は, LLMに基づく29のログ解析手法を体系的にレビューし, その能力, 限界, および手作業への依存度を比較した。我々は,学習パラダイムとプロンプトエンジニアリングパラダイム,効率・有効性向上技術,解析プロセスにおけるLLMの役割を分析した。本研究は,LLMに基づくログ解析手法の特徴を特徴付け,LLMに基づくログ解析の一般的なプロセスの導出と,レビューしたすべてのアプローチを単一フローチャートに組み込んだ大規模テーブルに集約する。さらに、公開データセット上で7つのオープンソースのLCMベースのログパーサをベンチマークし、再現性を批判的に評価する。この新たな研究分野の進歩を要約し、効率的でユーザフレンドリーなログ解析ソリューションを求める研究者や実践者に対して、すべてのコードと結果が透明性のために公開されています。

関連論文リスト

AdaptiveLog: An Adaptive Log Analysis Framework with the Collaboration of Large and Small Language Model [42.72663245137984]
本稿では、AdaptiveLogとして知られる適応ログ分析フレームワークを紹介する。優れた結果を確保しつつ、LLMに関連するコストを効果的に削減する。実験では、AdaptiveLogがさまざまなタスクにまたがって最先端の結果を達成することを示した。
論文参考訳（メタデータ） (2025-01-19T12:46:01Z)
Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
論文参考訳（メタデータ） (2024-10-11T03:52:17Z)
LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models [19.657278472819588]
LLM機能と統合された新しいログであるLog-LLMを紹介する。粒度を解析する複雑な課題に対処し、ユーザが特定のニーズに合わせて粒度を調整できるようにするための新しい指標を提案する。提案手法の有効性は,Loghub-2kと大規模LogPubベンチマークを用いて実験的に検証した。
論文参考訳（メタデータ） (2024-08-25T05:34:24Z)
SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
論文参考訳（メタデータ） (2024-07-16T04:41:58Z)
DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
論文参考訳（メタデータ） (2024-06-25T04:27:53Z)
LUNAR: Unsupervised LLM-based Log Parsing [34.344687402936835]
LUNARは,効率的かつ市販のログ解析のための教師なし手法である。我々の重要な洞察は、LSMは直接ログ解析に苦労するかもしれないが、それらの性能は比較分析によって大幅に向上できるということである。大規模な公開データセットの実験は、LUNARが精度と効率の点で最先端のログクラフトを著しく上回っていることを示している。
論文参考訳（メタデータ） (2024-06-11T11:32:01Z)
LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文参考訳（メタデータ） (2024-02-26T07:33:05Z)
LILAC: Log Parsing using LLMs with Adaptive Parsing Cache [38.04960745458878]
適応型解析キャッシュを備えた大規模言語モデル (LLM) を用いた最初の実用的なログ解析フレームワーク LILAC を提案する。 LLMの特殊なログ解析能力の欠如は、現在解析の正確さを妨げている。 LILACは,テンプレートの精度の平均F1スコアにおいて,最先端の手法よりも69.5%優れていた。
論文参考訳（メタデータ） (2023-10-03T04:46:59Z)
Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
論文参考訳（メタデータ） (2023-08-17T14:19:22Z)
Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study [32.53659676826846]
本稿では,ログステートメント生成のための大規模言語モデル (LLM) に関する最初の研究を行う。まず、ログステートメント生成データセットであるLogBenchを構築しました。(1)LogBench-O:GitHubリポジトリから収集したログステートメント、(2)LogBench-T:LogBench-Oから変換された未確認コードです。
論文参考訳（メタデータ） (2023-07-12T06:32:51Z)
Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。既存のアプローチは、ログ特化や手動ルール抽出に依存している。本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。