論文の概要: RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information

• arxiv url: http://arxiv.org/abs/2311.05160v1
• Date: Thu, 9 Nov 2023 06:11:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 16:08:27.093414
• Title: RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information
• Title（参考訳）: RAPID:トークンレベル情報を考慮したPLMによる学習不要検索に基づくログ異常検出
• Authors: Gunho No, Yukyung Lee, Hyeongwon Kang, Pilsung Kang
• Abstract要約: 特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。 本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
• 参考スコア（独自算出の注目度）: 7.861095039299132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the IT industry advances, system log data becomes increasingly crucial. Many computer systems rely on log texts for management due to restricted access to source code. The need for log anomaly detection is growing, especially in real-world applications, but identifying anomalies in rapidly accumulating logs remains a challenging task. Traditional deep learning-based anomaly detection models require dataset-specific training, leading to corresponding delays. Notably, most methods only focus on sequence-level log information, which makes the detection of subtle anomalies harder, and often involve inference processes that are difficult to utilize in real-time. We introduce RAPID, a model that capitalizes on the inherent features of log data to enable anomaly detection without training delays, ensuring real-time capability. RAPID treats logs as natural language, extracting representations using pre-trained language models. Given that logs can be categorized based on system context, we implement a retrieval-based technique to contrast test logs with the most similar normal logs. This strategy not only obviates the need for log-specific training but also adeptly incorporates token-level information, ensuring refined and robust detection, particularly for unseen logs. We also propose the core set technique, which can reduce the computational cost needed for comparison. Experimental results show that even without training on log data, RAPID demonstrates competitive performance compared to prior models and achieves the best performance on certain datasets. Through various research questions, we verified its capability for real-time detection without delay.
• Abstract（参考訳）: IT業界が進むにつれ、システムログデータはますます重要になっています。 多くのコンピュータシステムは、ソースコードへのアクセスが制限されているため、管理のためにログテキストに依存している。 ログの異常検出の必要性は、特に現実世界のアプリケーションでは増加しているが、ログの迅速蓄積における異常の特定は、依然として難しい課題である。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要となり、対応する遅延が発生する。 特に、ほとんどのメソッドはシーケンスレベルのログ情報のみに焦点を当てており、微妙な異常の検出が難しくなり、しばしばリアルタイムに利用が難しい推論プロセスが伴う。 ログデータの特徴を生かして,遅延をトレーニングすることなく異常検出を可能にし,リアルタイム機能を保証するモデルであるrapidを導入する。 RAPIDはログを自然言語として扱い、事前訓練された言語モデルを用いて表現を抽出する。 システムコンテキストに基づいてログを分類できるため,テストログと最も類似した通常のログを対比する検索ベースの手法を実装した。 この戦略はログ固有のトレーニングの必要性を損なうだけでなく、トークンレベルの情報を適切に取り入れることによって、特に目に見えないログに対して、洗練され堅牢な検出を実現する。 また,比較に必要な計算コストを削減できるコアセット手法を提案する。 実験結果から、ログデータをトレーニングしなくても、RAPIDは以前のモデルと比較して競合性能を示し、特定のデータセット上で最高のパフォーマンスを達成することが示された。 様々な研究課題を通じて,遅延なくリアルタイム検出が可能であることを検証した。

関連論文リスト

• LogLLM: Log-based Anomaly Detection Using Large Language Models [8.03646578793411]
  大規模言語モデル(LLM)を活用するログベースの異常検出フレームワークであるLogLLMを提案する。 LogLLMはBERTを使用してログメッセージからセマンティックベクターを抽出し、変換器デコーダベースのモデルであるLlamaを使ってログシーケンスを分類する。 我々のフレームワークは、性能と適応性を高めるために設計された新しい3段階の手順によって訓練されている。
  論文  参考訳（メタデータ） (2024-11-13T12:18:00Z)
• FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination [13.458633961243498]
  我々は擬似異常ログを生成するために訓練されたジェネレータ・ディスクリミネータフレームワークであるFastLogADを提案する。 識別段階において、FastLogADは正常と偽異常のサンプルを区別することを学ぶ。 従来の手法と比較して、FastLogADは異常検出において少なくともx10速度の増加を達成する。
  論文  参考訳（メタデータ） (2024-04-12T18:23:29Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LAnoBERT: System Log Anomaly Detection based on BERT Masked Language Model [12.00171674362062]
  システムログ異常検出の目的は、人間の介入を最小限に抑えつつ、即座に異常を識別することである。 従来の研究では、様々なログデータを標準化されたテンプレートに変換した後、アルゴリズムによる異常検出が行われた。 本研究では,自然言語処理性能に優れたLAnoBERTを提案する。
  論文  参考訳（メタデータ） (2021-11-18T07:46:35Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。