論文の概要: A Comparative Study on Large Language Models for Log Parsing

• arxiv url: http://arxiv.org/abs/2409.02474v1
• Date: Wed, 4 Sep 2024 06:46:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 20:02:12.302995
• Title: A Comparative Study on Large Language Models for Log Parsing
• Title（参考訳）: ログ解析のための大規模言語モデルの比較検討
• Authors: Merve Astekin, Max Hort, Leon Moonen,
• Abstract要約: ログ解析を行うための最先端の大規模言語モデルの現状について検討する。 我々は2つの異なるプロンプトアプローチを設計し、16の異なるプロジェクトにわたる1,354のログテンプレートにLSMを適用する。 CodeLlamaはGPT-3.5よりも10%多くのログテンプレートを抽出しています。
• 参考スコア（独自算出の注目度）: 3.3590922002216197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Background: Log messages provide valuable information about the status of software systems. This information is provided in an unstructured fashion and automated approaches are applied to extract relevant parameters. To ease this process, log parsing can be applied, which transforms log messages into structured log templates. Recent advances in language models have led to several studies that apply ChatGPT to the task of log parsing with promising results. However, the performance of other state-of-the-art large language models (LLMs) on the log parsing task remains unclear. Aims: In this study, we investigate the current capability of state-of-the-art LLMs to perform log parsing. Method: We select six recent LLMs, including both paid proprietary (GPT-3.5, Claude 2.1) and four free-to-use open models, and compare their performance on system logs obtained from a selection of mature open-source projects. We design two different prompting approaches and apply the LLMs on 1, 354 log templates across 16 different projects. We evaluate their effectiveness, in the number of correctly identified templates, and the syntactic similarity between the generated templates and the ground truth. Results: We found that free-to-use models are able to compete with paid models, with CodeLlama extracting 10% more log templates correctly than GPT-3.5. Moreover, we provide qualitative insights into the usability of language models (e.g., how easy it is to use their responses). Conclusions: Our results reveal that some of the smaller, free-to-use LLMs can considerably assist log parsing compared to their paid proprietary competitors, especially code-specialized models.
• Abstract（参考訳）: 背景: ログメッセージは、ソフトウェアシステムの現状に関する貴重な情報を提供する。 この情報は構造化されていない方法で提供され、関連するパラメータを抽出するための自動アプローチが適用される。 このプロセスを簡単にするために、ログ解析を適用し、ログメッセージを構造化されたログテンプレートに変換する。 近年の言語モデルの発展により、ChatGPTをログ解析のタスクに適用し、有望な結果が得られるようになった。 しかし、ログ解析タスクにおける他の最先端の大規模言語モデル(LLM)の性能は、まだ不明である。 Aims: 本研究は, ログ解析における最先端LCMの現在の能力について検討する。 方法: 有償プロプライエタリ(GPT-3.5, Claude 2.1)と4つのフリーユースオープンモデルを含む6つの最近のLCMを選択し, 成熟したオープンソースプロジェクトの選択から得られたシステムログの性能を比較した。 我々は2つの異なるプロンプトアプローチを設計し、16の異なるプロジェクトにわたる1,354のログテンプレートにLSMを適用する。 提案手法の有効性, 正しく同定されたテンプレート数, 生成したテンプレートと基礎的真実との構文的類似性について検討した。 結果: CodeLlamaはGPT-3.5よりも10%多くのログテンプレートを抽出する。 さらに、言語モデルのユーザビリティに関する質的な洞察(例えば、その応答の使いやすさなど)も提供します。 結論: この結果から, より小型で無償のLCMでは, 有償のプロプライエタリな競合, 特にコード特化モデルと比較して, ログ解析をかなり支援できることが明らかとなった。

関連論文リスト

• Studying and Benchmarking Large Language Models For Log Level Suggestion [49.176736212364496]
  大規模言語モデル(LLM)は、様々な領域で研究の焦点となっている。 本稿では,12個のオープンソースLCMのログレベル提案における性能に及ぼす特性と学習パラダイムの影響について検討する。
  論文  参考訳（メタデータ） (2024-10-11T03:52:17Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• LibreLog: Accurate and Efficient Unsupervised Log Parsing Using Open-Source Large Language Models [3.7960472831772774]
  本稿では,オープンソースのLLMを活用した教師なしログ解析手法であるOpenLogを紹介する。 OpenLogは、最先端の解析精度を確保しながら、プライバシとコストの懸念に対処する。
  論文  参考訳（メタデータ） (2024-08-02T21:54:13Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Stronger, Cheaper and Demonstration-Free Log Parsing with LLMs [18.240096266464544]
  トレーニングプロセスやラベル付きデータを必要としない,費用対効果の高いLCMベースのログであるLogBatcherを提案する。 我々は16の公開ログデータセットの実験を行い、ログ解析にLogBatcherが有効であることを示した。
  論文  参考訳（メタデータ） (2024-06-10T10:39:28Z)
• Log Parsing with Self-Generated In-Context Learning and Self-Correction [15.93927602769091]
  さまざまなログ解析手法が提案されているが、人為的なルールや限られたトレーニングデータによる学習ベースモデルに依存しているため、ログデータの進化に対する彼らのパフォーマンスは満足できないままである。 本稿では,自己生成型インコンテキスト学習(SG-ICL)と自己補正を併用したLLMを用いた効果的かつ適応的なログ解析フレームワークであるAdaを提案する。
  論文  参考訳（メタデータ） (2024-06-05T15:31:43Z)
• LLMParser: An Exploratory Study on Using Large Language Models for Log Parsing [8.647406441990396]
  ログ解析にLarge Language Models (LLMs) を用いることの可能性を検討した。 例えば、Flan-T5-baseはLLaMA-7Bに匹敵する結果を短時間で達成する。 また,他のシステムからのログを用いて事前学習したLLMを用いることで,解析精度が向上するとは限らない。
  論文  参考訳（メタデータ） (2024-04-27T20:34:29Z)
• BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
  我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。 異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。 評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
  論文  参考訳（メタデータ） (2023-10-24T12:18:17Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。