論文の概要: Cross-System Software Log-based Anomaly Detection Using Meta-Learning

• arxiv url: http://arxiv.org/abs/2412.15445v1
• Date: Thu, 19 Dec 2024 22:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:21:30.448498
• Title: Cross-System Software Log-based Anomaly Detection Using Meta-Learning
• Title（参考訳）: メタラーニングを用いたシステム間ソフトウェアログベース異常検出
• Authors: Yuqing Wang, Mika V. Mäntylä, Jesse Nyyssolä, Ke Ping, Liqiang Wang,
• Abstract要約: AIOpsツールは、ソフトウェアシステムのログベースの異常検出プロセスを自動化するために開発されている。 この分野では、高いデータラベリングコスト、動的システムのログの進化、異なるシステム間の適応性という、3つの実践的な課題が広く認識されている。 これらの課題に対応するために特別に設計された,ログイベントレベルの異常検出のためのAIOpsツールであるCroSysLogを提案する。
• 参考スコア（独自算出の注目度）: 17.39262430769509
• License:
• Abstract: Modern software systems produce vast amounts of logs, serving as an essential resource for anomaly detection. Artificial Intelligence for IT Operations (AIOps) tools have been developed to automate the process of log-based anomaly detection for software systems. Three practical challenges are widely recognized in this field: high data labeling costs, evolving logs in dynamic systems, and adaptability across different systems. In this paper, we propose CroSysLog, an AIOps tool for log-event level anomaly detection, specifically designed in response to these challenges. Following prior approaches, CroSysLog uses a neural representation approach to gain a nuanced understanding of logs and generate representations for individual log events accordingly. CroSysLog can be trained on source systems with sufficient labeled logs from open datasets to achieve robustness, and then efficiently adapt to target systems with a few labeled log events for effective anomaly detection. We evaluate CroSysLog using open datasets of four large-scale distributed supercomputing systems: BGL, Thunderbird, Liberty, and Spirit. We used random log splits, maintaining the chronological order of consecutive log events, from these systems to train and evaluate CroSysLog. These splits were widely distributed across a one/two-year span of each system's log collection duration, thereby capturing the evolving nature of the logs in each system. Our results show that, after training CroSysLog on Liberty and BGL as source systems, CroSysLog can efficiently adapt to target systems Thunderbird and Spirit using a few labeled log events from each target system, effectively performing anomaly detection for these target systems. The results demonstrate that CroSysLog is a practical, scalable, and adaptable tool for log-event level anomaly detection in operational and maintenance contexts of software systems.
• Abstract（参考訳）: 現代のソフトウェアシステムは大量のログを生成し、異常検出に不可欠なリソースとなっている。 AIOps(Artificial Intelligence for IT Operations)ツールは、ソフトウェアシステムのログベースの異常検出プロセスを自動化するために開発された。 この分野では、高いデータラベリングコスト、動的システムのログの進化、異なるシステム間の適応性という、3つの実践的な課題が広く認識されている。 本稿では,これらの課題に対応するために特別に設計された,ログイベントレベルの異常検出のためのAIOpsツールであるCroSysLogを提案する。 以前のアプローチに従って、CroSysLogは、ニューラル表現アプローチを使用して、ログの微妙な理解を得、それに従って個々のログイベントの表現を生成する。 CroSysLogは、オープンデータセットからの十分なラベル付きログを持つソースシステム上で、堅牢性を達成するためにトレーニングし、いくつかのラベル付きログイベントを持つターゲットシステムに効率よく適応して、効果的な異常検出を行うことができる。 我々は、BGL、Thunderbird、Liberty、Spiritという4つの大規模分散スーパーコンピュータシステムのオープンデータセットを用いて、CroSysLogを評価した。 これらのシステムからランダムなログ分割を行い、連続するログイベントの時間順を維持して、CroSysLogのトレーニングと評価を行った。 これらの分割は、各システムのログ収集期間の1/2年間にわたって広く分散され、各システムにおけるログの進化する性質を捉えた。 以上の結果から,CroSysLog on LibertyとBGLをソースシステムとしてトレーニングした後,ターゲットシステムからのラベル付きログイベントを数回使用することで,ターゲットシステムに対する異常検出を効果的に行うことができることがわかった。 この結果から,CroSysLogは,ソフトウェアシステムの運用およびメンテナンスのコンテキストにおいて,ログイベントレベルの異常検出を行うための,実用的でスケーラブルで適応可能なツールであることが示された。

関連論文リスト

• Log2graphs: An Unsupervised Framework for Log Anomaly Detection with Efficient Feature Extraction [1.474723404975345]
  手動アノテーションの高コストと使用シナリオの動的な性質は、効果的なログ分析において大きな課題となる。 本研究では,様々なシナリオに対応するために設計されたDualGCN-LogAEと呼ばれる新しいログ特徴抽出モデルを提案する。 また,特徴抽出器に基づく教師なしログ異常検出手法であるLog2graphsを導入する。
  論文  参考訳（メタデータ） (2024-09-18T11:35:58Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• RAPID: Training-free Retrieval-based Log Anomaly Detection with PLM considering Token-level information [7.861095039299132]
  特に現実世界のアプリケーションでは、ログ異常検出の必要性が高まっている。 従来のディープラーニングベースの異常検出モデルでは、データセット固有のトレーニングが必要で、それに対応する遅延が発生する。 本稿では,ログデータ固有の特徴を活かして,トレーニング遅延を伴わずに異常検出を可能にするモデルRAPIDを紹介する。
  論文  参考訳（メタデータ） (2023-11-09T06:11:44Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• AutoLog: A Log Sequence Synthesis Framework for Anomaly Detection [34.91789047641838]
  AutoLogは、異常検出のための最初の自動ログ生成手法である。 実際にシステムを実行することなく、実行時のログシーケンスを生成する。 人間の知識に基づいて、取得した各実行パスに異常ラベルを伝搬する。
  論文  参考訳（メタデータ） (2023-08-18T05:56:18Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• Leveraging Log Instructions in Log-based Anomaly Detection [0.5949779668853554]
  本稿では,システムログからの信頼性と実用的な異常検出手法を提案する。 1000以上のGitHubプロジェクトのソースコードからログインストラクションを備えた異常検出モデルを構築することで、関連する作業の一般的な欠点を克服する。 提案手法はADLILogと呼ばれ,興味あるシステム(ターゲットシステム)からのログ命令とデータを組み合わせて,深層ニューラルネットワークモデルを学習する。
  論文  参考訳（メタデータ） (2022-07-07T10:22:10Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。