論文の概要: Anomaly Detection on Unstable Logs with GPT Models

• arxiv url: http://arxiv.org/abs/2406.07467v1
• Date: Tue, 11 Jun 2024 17:13:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 14:55:29.176646
• Title: Anomaly Detection on Unstable Logs with GPT Models
• Title（参考訳）: GPTモデルによる不安定ログの異常検出
• Authors: Fatemeh Hadadi, Qinghua Xu, Domenico Bianculli, Lionel Briand,
• Abstract要約: 本稿では,不安定なログの異常検出のための微調整LDMと代替モデルの実験的比較について報告する。 膨大なデータセット上でのLLMの事前トレーニングは、多様なパターンやコンテキスト情報の堅牢な理解を可能にする可能性がある。 GPT-3と他の教師付きアプローチの違いは、ログシーケンスの変化の度合いが増加するにつれて、より顕著になる傾向にある。
• 参考スコア（独自算出の注目度）: 1.9713190626298576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Log-based anomaly detection has been widely studied in the literature as a way to increase the dependability of software-intensive systems. In reality, logs can be unstable due to changes made to the software during its evolution. This, in turn, degrades the performance of downstream log analysis activities, such as anomaly detection. The critical challenge in detecting anomalies on these unstable logs is the lack of information about the new logs, due to insufficient log data from new software versions. The application of Large Language Models (LLMs) to many software engineering tasks has revolutionized various domains. In this paper, we report on an experimental comparison of a fine-tuned LLM and alternative models for anomaly detection on unstable logs. The main motivation is that the pre-training of LLMs on vast datasets may enable a robust understanding of diverse patterns and contextual information, which can be leveraged to mitigate the data insufficiency issue in the context of software evolution. Our experimental results on the two-version dataset of LOGEVOL-Hadoop show that the fine-tuned LLM (GPT-3) fares slightly better than supervised baselines when evaluated on unstable logs. The difference between GPT-3 and other supervised approaches tends to become more significant as the degree of changes in log sequences increases. However, it is unclear whether the difference is practically significant in all cases. Lastly, our comparison of prompt engineering (with GPT-4) and fine-tuning reveals that the latter provides significantly superior performance on both stable and unstable logs, offering valuable insights into the effective utilization of LLMs in this domain.
• Abstract（参考訳）: ログベースの異常検出は、ソフトウェア集約システムの信頼性を高める手段として、文献で広く研究されている。 実際には、ログは進化中のソフトウェアの変更によって不安定になる可能性がある。 これにより、異常検出などの下流ログ分析アクティビティのパフォーマンスが低下する。 これらの不安定なログの異常を検出する上で重要な課題は、新しいソフトウェアバージョンのログデータが不十分であるため、新しいログに関する情報の不足である。 大規模言語モデル(LLM)の多くのソフトウェアエンジニアリングタスクへの適用は、様々な領域に革命をもたらした。 本稿では,不安定なログの異常検出のための微調整LDMと代替モデルの実験的比較について報告する。 主な動機は、大規模なデータセット上でのLCMの事前トレーニングにより、多様なパターンやコンテキスト情報の堅牢な理解が可能になり、ソフトウェア進化の文脈におけるデータ不足の問題を軽減するために活用できるということである。 LOGEVOL-Hadoopの2バージョンデータセットによる実験結果から,不安定なログで評価すると,微調整LDM (GPT-3) は教師付きベースラインよりもわずかに優れていることがわかった。 GPT-3と他の教師付きアプローチの違いは、ログシーケンスの変化の度合いが増加するにつれて、より顕著になる傾向にある。 しかし、いずれの場合においても、この違いが実質的に重要であるかどうかは定かではない。 最後に, GPT-4 との比較と微調整により, 安定ログと不安定ログの両方において, 比較的優れた性能が得られ, この領域における LLM の有効利用に関する貴重な知見が得られた。

関連論文リスト

• LogGPT: Log Anomaly Detection via GPT [15.790373280124196]
  ログ異常検出にGPTを用いた新しいフレームワークであるLogGPTを提案する。 LogGPTは、まず、前回のシーケンスに基づいて次のログエントリを予測するように訓練される。 本稿では,ログ異常検出タスクに特化してモデルを微調整する新しい強化学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T19:29:50Z)
• Log-based Anomaly Detection based on EVT Theory with feedback [31.949892354842525]
  本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。 本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
  論文  参考訳（メタデータ） (2023-06-08T08:34:58Z)
• EvLog: Identifying Anomalous Logs over Software Evolution [31.46106509190191]
  解析なしでログを処理するためのEvolving Log extractor (EvLog) という新しい教師なし手法を提案する。 EvLogは、異常なログを識別し、不安定なシーケンスによって引き起こされる問題を回避するために、注意機構を備えた異常判別器を実装している。 EvLogは、平均F1スコアが0.955と0.847の2つの実世界のシステム進化ログデータセットにおいて、それぞれバージョン内設定とバージョン間設定で有効であることを示した。
  論文  参考訳（メタデータ） (2023-06-02T12:58:00Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。