論文の概要: Scalable and Adaptive Log-based Anomaly Detection with Expert in the Loop

• arxiv url: http://arxiv.org/abs/2306.05032v1
• Date: Thu, 8 Jun 2023 08:34:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 15:36:20.052788
• Title: Scalable and Adaptive Log-based Anomaly Detection with Expert in the Loop
• Title（参考訳）: ループのエキスパートによるスケーラブルで適応的なログベース異常検出
• Authors: Jinyang Liu, Junjie Huang, Yintong Huo, Zhihan Jiang, Jiazhen Gu, Zhuangbin Chen, Cong Feng, Minzhi Yan and Michael R. Lyu
• Abstract要約: 本研究では,SeaLogと呼ばれる高精度で軽量かつ適応的なログベースの異常検出フレームワークを提案する。 本稿では,リアルタイムな異常検出を行うために,軽量で動的に成長するトリエ構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応してTDAの精度を高めるため,専門家からフィードバックを得られるようにした。
• 参考スコア（独自算出の注目度）: 26.78081884284462
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: System logs play a critical role in maintaining the reliability of software systems. Fruitful studies have explored automatic log-based anomaly detection and achieved notable accuracy on benchmark datasets. However, when applied to large-scale cloud systems, these solutions face limitations due to high resource consumption and lack of adaptability to evolving logs. In this paper, we present an accurate, lightweight, and adaptive log-based anomaly detection framework, referred to as SeaLog. Our method introduces a Trie-based Detection Agent (TDA) that employs a lightweight, dynamically-growing trie structure for real-time anomaly detection. To enhance TDA's accuracy in response to evolving log data, we enable it to receive feedback from experts. Interestingly, our findings suggest that contemporary large language models, such as ChatGPT, can provide feedback with a level of consistency comparable to human experts, which can potentially reduce manual verification efforts. We extensively evaluate SeaLog on two public datasets and an industrial dataset. The results show that SeaLog outperforms all baseline methods in terms of effectiveness, runs 2X to 10X faster and only consumes 5% to 41% of the memory resource.
• Abstract（参考訳）: システムログは、ソフトウェアシステムの信頼性を維持する上で重要な役割を果たす。 実りある研究がログに基づく自動異常検出を探索し、ベンチマークデータセットで注目すべき精度を達成した。 しかし、大規模なクラウドシステムに適用する場合、これらのソリューションは、高いリソース消費とログの進化への適応性の欠如のために制限に直面します。 本稿では,sealogと呼ばれる,正確で軽量で適応的なログに基づく異常検出フレームワークを提案する。 本稿では,リアルタイム異常検出に軽量で動的に成長する三重構造を用いたTrie-based Detection Agent (TDA)を提案する。 ログデータの進化に対応するTDAの精度を高めるため,専門家からのフィードバックを受信することができる。 興味深いことに、ChatGPTのような現代の大規模言語モデルは、人間の専門家に匹敵する一貫性のレベルでフィードバックを提供することができ、手動検証の労力を削減できる可能性が示唆されている。 2つのパブリックデータセットと産業データセットでSeaLogを広範囲に評価する。 その結果、SeaLogはすべてのベースラインメソッドを性能面で上回り、2倍から10倍速く動作し、メモリリソースの5%から41%しか消費しないことがわかった。

関連論文リスト

• LogSD: Detecting Anomalies from System Logs through Self-supervised Learning and Frequency-based Masking [14.784236273395017]
  我々は,新しい半教師付き自己教師付き学習手法であるLogSDを提案する。 我々は,LogSDが8つの最先端ベンチマーク手法を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-04-17T12:00:09Z)
• PULL: Reactive Log Anomaly Detection Based On Iterative PU Learning [58.85063149619348]
  本稿では,推定故障時間ウィンドウに基づくリアクティブ異常検出のための反復ログ解析手法PULLを提案する。 我々の評価では、PULLは3つの異なるデータセットで10のベンチマークベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-01-25T16:34:43Z)
• SKTR: Trace Recovery from Stochastically Known Logs [7.882975068446842]
  機械学習の発展とセンサデータの利用の増加は、決定論的ログへの依存に挑戦する。 本研究では,現実に忠実な決定論的ログを生成するタスクを定式化する。 効果的なトレースリカバリアルゴリズムは、不確実な設定のために信頼できるプロセスマイニングツールを維持するための強力な助けとなるだろう。
  論文  参考訳（メタデータ） (2022-06-25T15:29:20Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• A2Log: Attentive Augmented Log Anomaly Detection [53.06341151551106]
  異常検出は、ITサービスの信頼性とサービス性にとってますます重要になる。 既存の教師なし手法は、適切な決定境界を得るために異常な例を必要とする。 我々は,異常判定と異常判定の2段階からなる教師なし異常検出手法であるA2Logを開発した。
  論文  参考訳（メタデータ） (2021-09-20T13:40:21Z)
• Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection [30.52620190783608]
  我々は6つの最先端の異常検知器で使用される5つの人気モデルのレビューと評価を行う。 選択された方法のうち4つは教師なし、残りの2つは教師なしである。 我々は,本研究がこの分野の基礎となり,今後の学術研究や産業応用に貢献できると考えている。
  論文  参考訳（メタデータ） (2021-07-13T08:10:47Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。