論文の概要: LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics
- arxiv url: http://arxiv.org/abs/2604.12218v1
- Date: Tue, 14 Apr 2026 02:51:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.204086
- Title: LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics
- Title(参考訳): LLMによるログ異常検出:自動システム診断のための大規模言語モデルの総合ベンチマーク
- Authors: Disha Patel,
- Abstract要約: 大規模言語モデル(LLM)は、ログ理解のための有望な新しいアプローチを提供する。
LLMはラベル付きトレーニングデータを必要とせずに、目覚ましいゼロショット機能を示す。
本研究は,ログ異常検出方法を選択するための実用的なガイドラインを提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: System log anomaly detection is critical for maintaining the reliability of large-scale software systems, yet traditional methods struggle with the heterogeneous and evolving nature of modern log data. Recent advances in Large Language Models (LLMs) offer promising new approaches to log understanding, but a systematic comparison of LLM-based methods against established techniques remains lacking. In this paper, we present a comprehensive benchmark study evaluating both LLM-based and traditional approaches for log anomaly detection across four widely-used public datasets: HDFS, BGL, Thunderbird, and Spirit. We evaluate three categories of methods: (1) classical log parsers (Drain, Spell, AEL) combined with machine learning classifiers, (2) fine-tuned transformer models (BERT, RoBERTa), and (3) prompt-based LLM approaches (GPT-3.5, GPT-4, LLaMA-3) in zero-shot and few-shot settings. Our experiments reveal that while fine-tuned transformers achieve the highest F1-scores (0.96-0.99), prompt-based LLMs demonstrate remarkablezero-shot capabilities (F1: 0.82-0.91) without requiring any labeled training data -- a significant advantage for real-world deployment where labeled anomalies are scarce. We further analyze the cost-accuracy trade-offs, latency characteristics, and failure modes of each approach. Our findings provide actionable guidelines for practitioners choosing log anomaly detection methods based on their specific constraints regarding accuracy, latency, cost, and label availability. All code and experimental configurations are publicly available to facilitate reproducibility.
- Abstract(参考訳): システムログの異常検出は、大規模ソフトウェアシステムの信頼性を維持するために重要であるが、従来の手法は、現代のログデータの異種性と進化する性質に苦慮している。
近年のLarge Language Models (LLMs) の進歩により,ログ理解への新たなアプローチが期待できるが,LLMに基づく手法と確立された手法との体系的比較は依然として不十分である。
本稿では,LLMに基づく,広く使用されている4つの公開データセット(HDFS,BGL,Thunderbird,Spirit)のログ異常検出のための従来のアプローチを総合的なベンチマークで評価する。
1)古典的ログパーサ(Drain, Spell, AEL)と機械学習の分類器の組み合わせ,(2)微調整型トランスフォーマーモデル(BERT, RoBERTa)と(3)ゼロショットおよび少数ショット設定におけるプロンプトベースのLCMアプローチ(GPT-3.5, GPT-4, LLaMA-3)の3つのカテゴリを評価した。
我々の実験は、微調整トランスフォーマーが最高F1スコア(0.96-0.99)を達成する一方で、ラベル付きトレーニングデータを必要としないプロンプトベースのLCMは、ラベル付きアノマリーが不足した現実世界のデプロイメントにおいて、顕著なゼロショット機能(F1: 0.82-0.91)を示すことを示した。
さらに、各アプローチのコスト-正確性トレードオフ、レイテンシ特性、障害モードを分析します。
本研究は, 精度, レイテンシ, コスト, ラベルの可利用性に関する具体的な制約に基づいて, ログ異常検出方法を選択する実践者に対して, 実用的なガイドラインを提供する。
すべてのコードと実験的な設定は、再現性を促進するために公開されています。
関連論文リスト
- AnomalyGen: Enhancing Log-Based Anomaly Detection with Code-Guided Data Augmentation [42.87177529900358]
AnomalyGenは、ラベル付きログシーケンスをソースコードから合成することによってトレーニングデータを増強する新しいフレームワークである。
12のさまざまな異常検出モデルに対するHDFSとZookeeperの評価は、AnomalyGenが一貫してパフォーマンスを改善していることを示している。
論文 参考訳(メタデータ) (2026-04-13T07:24:43Z) - Next-generation cyberattack detection with large language models: anomaly analysis across heterogeneous logs [0.0]
異種ログソース間の異常検出のための大規模言語モデル(LLM)について検討する。
従来の侵入検知システムは、高い偽陽性率、セマンティック・ブラインドネス、データ不足に悩まされている。
1)LogAtlas-Foundation-SessionsとLogAtlas-Defense-Set、バランスの取れた、および異種なログデータセット、明示的なアタックアノテーションとプライバシ保護の3つのコントリビューションを通じて、これらの課題に対処する。
論文 参考訳(メタデータ) (2026-02-06T15:31:58Z) - LLM-Assisted Logic Rule Learning: Scaling Human Expertise for Time Series Anomaly Detection [0.9740025522928777]
時系列異常検出はサプライチェーン管理において積極的な操作を行う上で重要である。
本稿では,大規模言語モデル(LLM)を利用して,人間の専門知識を解釈可能な論理ベースのルールに体系的にエンコードするフレームワークを提案する。
論文 参考訳(メタデータ) (2026-01-27T06:37:37Z) - Generality Is Not Enough: Zero-Label Cross-System Log-Based Anomaly Detection via Knowledge-Level Collaboration [10.873294740040912]
GeneralLogはゼロラベルのクロスシステムログ異常検出のための新しい協調手法である。
GeneralLogは、100%ゼロラベル設定で90%以上のF1スコアを達成し、既存のメソッドを大幅に上回っている。
論文 参考訳(メタデータ) (2025-11-08T06:47:28Z) - When Punctuation Matters: A Large-Scale Comparison of Prompt Robustness Methods for LLMs [55.20230501807337]
本報告では, 統一実験フレームワーク内での迅速なロバスト性向上のための5つの手法の体系的評価を行う。
Llama、Qwen、Gemmaファミリーの8つのモデルに対して、Natural Instructionsデータセットから52のタスクをベンチマークする。
論文 参考訳(メタデータ) (2025-08-15T10:32:50Z) - GLiClass: Generalist Lightweight Model for Sequence Classification Tasks [49.2639069781367]
本稿では,シーケンス分類タスクにGLiNERアーキテクチャを適用する新しい手法であるGLiClassを提案する。
提案手法は,ゼロショットおよび少数ショット学習シナリオに必要な柔軟性を維持しつつ,埋め込み方式に匹敵する高い精度と効率を実現する。
論文 参考訳(メタデータ) (2025-08-11T06:22:25Z) - Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。
本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
論文 参考訳(メタデータ) (2024-06-24T04:17:03Z) - Log-based Anomaly Detection based on EVT Theory with feedback [31.949892354842525]
本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。
本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。
ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
論文 参考訳(メタデータ) (2023-06-08T08:34:58Z) - PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。
我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2023-01-25T16:34:43Z) - Prompt-driven efficient Open-set Semi-supervised Learning [52.30303262499391]
オープンセット半教師付き学習(OSSL)は関心を集めており、未ラベルデータにのみOOD(Out-of-distribution)サンプルが組み込まれているというより実践的なシナリオを調査している。
我々はOpenPromptと呼ばれる,プロンプト駆動の効率的なOSSLフレームワークを提案する。
論文 参考訳(メタデータ) (2022-09-28T16:25:08Z) - LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak
Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。
本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。
我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文 参考訳(メタデータ) (2021-11-02T15:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。