論文の概要: Adapting Large Language Models for Parameter-Efficient Log Anomaly Detection

• arxiv url: http://arxiv.org/abs/2503.08045v1
• Date: Tue, 11 Mar 2025 05:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:45:45.822904
• Title: Adapting Large Language Models for Parameter-Efficient Log Anomaly Detection
• Title（参考訳）: パラメータ効率の良いログ異常検出のための大規模言語モデルの適用
• Authors: Ying Fu Lim, Jiawen Zhu, Guansong Pang,
• Abstract要約: Log Anomaly Detection (LAD) は、システムのセキュリティと状態を評価する上で重要なログデータの非定型パターンを特定することを目指している。 大規模言語モデル(LLM)は様々な分野で大きな成功を収めてきたが、ログ異常の検出にLLMを使うことは、ほとんど探索されていない。 LLMをLADに適応させるために,パラメータ効率のよい微調整技術(PEFT)について検討する。
• 参考スコア（独自算出の注目度）: 22.804501061898616
• License:
• Abstract: Log Anomaly Detection (LAD) seeks to identify atypical patterns in log data that are crucial to assessing the security and condition of systems. Although Large Language Models (LLMs) have shown tremendous success in various fields, the use of LLMs in enabling the detection of log anomalies is largely unexplored. This work aims to fill this gap. Due to the prohibitive costs involved in fully fine-tuning LLMs, we explore the use of parameter-efficient fine-tuning techniques (PEFTs) for adapting LLMs to LAD. To have an in-depth exploration of the potential of LLM-driven LAD, we present a comprehensive investigation of leveraging two of the most popular PEFTs -- Low-Rank Adaptation (LoRA) and Representation Fine-tuning (ReFT) -- to tap into three prominent LLMs of varying size, including RoBERTa, GPT-2, and Llama-3, for parameter-efficient LAD. Comprehensive experiments on four public log datasets are performed to reveal important insights into effective LLM-driven LAD in several key perspectives, including the efficacy of these PEFT-based LLM-driven LAD methods, their stability, sample efficiency, robustness w.r.t. unstable logs, and cross-dataset generalization. Code is available at https://github.com/mala-lab/LogADReft.
• Abstract（参考訳）: Log Anomaly Detection (LAD) は、システムのセキュリティと状態を評価する上で重要なログデータの非定型パターンを特定することを目指している。 大規模言語モデル(LLM)は様々な分野で大きな成功を収めてきたが、ログ異常の検出にLLMを使うことは、ほとんど探索されていない。 この仕事は、このギャップを埋めることを目的としています。 完全微調整LPMの禁止コストのため,パラメータ効率向上技術(PEFT)を用いてLCMをLADに適応させる方法について検討した。 LLM駆動型LADの可能性を詳細に調査するため、パラメータ効率の高いLADのために、低ランク適応(LoRA)とRepresentation Fine-tuning(ReFT)の2つの最も人気のあるPEFTを活用し、RoBERTa、GPT-2、Llama-3などの様々なサイズのLLMを利用するための総合的な調査を行う。 4つの公開ログデータセットに関する総合的な実験を行い、これらのPEFTベースのLPM駆動型LAD法の有効性、その安定性、サンプル効率、不安定なログに対する堅牢性、およびデータセットの一般化など、いくつかの重要な視点でLLM駆動型LADの有効性に関する重要な洞察を明らかにする。 コードはhttps://github.com/mala-lab/LogADReft.comから入手できる。

関連論文リスト

• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• 60 Data Points are Sufficient to Fine-Tune LLMs for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
  我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。 本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T04:17:03Z)
• An Empirical Study on Parameter-Efficient Fine-Tuning for MultiModal Large Language Models [14.202759186103497]
  マルチモーダル大規模言語モデル (MLLM) はマルチモーダルタスクにおいて顕著な機能を示した。 しかし、MLLMの全てのパラメータを微調整することは、通常数十億のパラメータを含むため困難になっている。 本稿では,オープンソースMLLMのLPMコンポーネントを微調整するために,4つのPEFT手法を用いた実験的検討を行った。
  論文  参考訳（メタデータ） (2024-06-07T17:58:11Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)
• BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
  大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。 従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
  論文  参考訳（メタデータ） (2024-03-27T08:57:21Z)
• Large Language Models are Not Stable Recommender Systems [45.941176155464824]
  大規模言語モデル(LLM)における探索的研究の導入と位置バイアスの一貫したパターンの発見について述べる。 本稿では,2段階パイプラインを含むベイズ確率的フレームワークSTELLA(Stable LLM for Recommendation)を提案する。 我々のフレームワークは、既存のパターン情報を利用してLCMの不安定性を校正し、レコメンデーション性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-12-25T14:54:33Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• Exploring Parameter-Efficient Fine-Tuning Techniques for Code Generation with Large Language Models [11.845239346943067]
  パラメータ効率のよい微調整(PEFT)は、大規模言語モデル(LLM)をタスク固有のデータに効率的に専門化するための有望なアプローチである。 本研究は,PEFTと量子化を組み合わせることで,より大きなLCMをチューニングし,メモリ使用量を大幅に削減する可能性を明らかにする。
  論文  参考訳（メタデータ） (2023-08-21T04:31:06Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。