論文の概要: Data Drift Monitoring for Log Anomaly Detection Pipelines

• arxiv url: http://arxiv.org/abs/2310.14893v1
• Date: Tue, 17 Oct 2023 09:10:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-29 15:58:07.968578
• Title: Data Drift Monitoring for Log Anomaly Detection Pipelines
• Title（参考訳）: ログ異常検出パイプラインのためのデータドリフトモニタリング
• Authors: Dipak Wani, Samuel Ackerman, Eitan Farchi, Xiaotong Liu, Hau-wen Chang, Sarasi Lalithsena
• Abstract要約: 本研究では,介入,再訓練,LADモデルの更新が人的関与に必要である場合に,ベイズ因子に基づくドリフト検出手法を提案する。 本手法は,無修正データからのログアクティビティのシーケンスと,異常汚染の制御レベルによるシミュレートされたアクティビティの両方を用いて記述する。
• 参考スコア（独自算出の注目度）: 2.941832525496684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Logs enable the monitoring of infrastructure status and the performance of associated applications. Logs are also invaluable for diagnosing the root causes of any problems that may arise. Log Anomaly Detection (LAD) pipelines automate the detection of anomalies in logs, providing assistance to site reliability engineers (SREs) in system diagnosis. Log patterns change over time, necessitating updates to the LAD model defining the `normal' log activity profile. In this paper, we introduce a Bayes Factor-based drift detection method that identifies when intervention, retraining, and updating of the LAD model are required with human involvement. We illustrate our method using sequences of log activity, both from unaltered data, and simulated activity with controlled levels of anomaly contamination, based on real collected log data.
• Abstract（参考訳）: ログはインフラストラクチャの状態の監視と関連するアプリケーションのパフォーマンスを可能にする。 ログはまた、発生する可能性のある問題の根本原因の診断にも有用である。 ログ異常検出(lad)パイプラインは、ログの異常検出を自動化し、システム診断におけるsre(site reliability engineer)の支援を提供する。 ログパターンは時間とともに変わり、‘normal’ログアクティビティプロファイルを定義するladモデルのアップデートが必要になる。 本稿では,ladモデルの介入,再訓練,更新が人間の関与に必要となるタイミングを識別するベイズ因子に基づくドリフト検出手法を提案する。 本手法は, 実データに基づいて, 不正なデータからのログの連続と, 異常な汚染のレベルを制御した模擬アクティビティを用いて記述する。

関連論文リスト

• TPLogAD: Unsupervised Log Anomaly Detection Based on Event Templates and Key Parameters [2.8377404383552043]
  本研究では,非構造化ログを解析するための共通教師なし手法TPLogADを提案する。 TPLogADに含まれるitemplate2vecとpara2vecは、ログの効率的で実装が容易なセマンティック表現方法である。 4つの公開ログデータセットに対する実験により、TPLogADは既存のログ異常検出方法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-22T08:25:21Z)
• Demystifying and Extracting Fault-indicating Information from Logs for Failure Diagnosis [29.800380941293277]
  エンジニアは、診断のためにログ情報の2つのカテゴリを優先順位付けする。 そこで本研究では,LoFIと呼ばれる故障診断のためのログから誤検出情報を自動抽出する手法を提案する。 LoFIは全てのベースライン法を大幅な差で上回り、最高のベースライン法であるChatGPTよりもF1の25.837.9を絶対的に改善した。
  論文  参考訳（メタデータ） (2024-09-20T15:00:47Z)
• Log2graphs: An Unsupervised Framework for Log Anomaly Detection with Efficient Feature Extraction [1.474723404975345]
  手動アノテーションの高コストと使用シナリオの動的な性質は、効果的なログ分析において大きな課題となる。 本研究では,様々なシナリオに対応するために設計されたDualGCN-LogAEと呼ばれる新しいログ特徴抽出モデルを提案する。 また,特徴抽出器に基づく教師なしログ異常検出手法であるLog2graphsを導入する。
  論文  参考訳（メタデータ） (2024-09-18T11:35:58Z)
• LogELECTRA: Self-supervised Anomaly Detection for Unstructured Logs [0.0]
  ログベースの異常検出の目標は、短時間で生成された大量のログを分析して、システム異常を自動的に検出することである。 従来の研究では、非構造化ログデータからテンプレートを抽出し、テンプレート発生パターンに基づいて異常を検出するためにログを使用していた。 自己教師付き異常検出に基づいて1行のログメッセージをより深く分析する新しいログ異常検出モデルであるLogELECTRAを提案する。
  論文  参考訳（メタデータ） (2024-02-16T01:47:02Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。