論文の概要: AutoLog: A Log Sequence Synthesis Framework for Anomaly Detection

• arxiv url: http://arxiv.org/abs/2308.09324v1
• Date: Fri, 18 Aug 2023 05:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 13:37:35.136909
• Title: AutoLog: A Log Sequence Synthesis Framework for Anomaly Detection
• Title（参考訳）: AutoLog: 異常検出のためのログシーケンス合成フレームワーク
• Authors: Yintong Huo, Yichen Li, Yuxin Su, Pinjia He, Zifan Xie, and Michael R. Lyu
• Abstract要約: AutoLogは、異常検出のための最初の自動ログ生成手法である。 実際にシステムを実行することなく、実行時のログシーケンスを生成する。 人間の知識に基づいて、取得した各実行パスに異常ラベルを伝搬する。
• 参考スコア（独自算出の注目度）: 34.91789047641838
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid progress of modern computing systems has led to a growing interest in informative run-time logs. Various log-based anomaly detection techniques have been proposed to ensure software reliability. However, their implementation in the industry has been limited due to the lack of high-quality public log resources as training datasets. While some log datasets are available for anomaly detection, they suffer from limitations in (1) comprehensiveness of log events; (2) scalability over diverse systems; and (3) flexibility of log utility. To address these limitations, we propose AutoLog, the first automated log generation methodology for anomaly detection. AutoLog uses program analysis to generate run-time log sequences without actually running the system. AutoLog starts with probing comprehensive logging statements associated with the call graphs of an application. Then, it constructs execution graphs for each method after pruning the call graphs to find log-related execution paths in a scalable manner. Finally, AutoLog propagates the anomaly label to each acquired execution path based on human knowledge. It generates flexible log sequences by walking along the log execution paths with controllable parameters. Experiments on 50 popular Java projects show that AutoLog acquires significantly more (9x-58x) log events than existing log datasets from the same system, and generates log messages much faster (15x) with a single machine than existing passive data collection approaches. We hope AutoLog can facilitate the benchmarking and adoption of automated log analysis techniques.
• Abstract（参考訳）: 現代のコンピューティングシステムの急速な進歩により、情報的ランタイムログへの関心が高まっている。 ソフトウェアの信頼性を確保するため、ログベースの様々な異常検出技術が提案されている。 しかしながら、業界における彼らの実装は、トレーニングデータセットとして高品質な公開ログリソースが欠如しているため制限されている。 いくつかのログデータセットは異常検出が可能であるが、(1)ログイベントの包括性、(2)多様なシステムに対するスケーラビリティ、(3)ログユーティリティの柔軟性に制限がある。 これらの制約に対処するため,自動ログ生成手法であるAutoLogを提案する。 AutoLogはプログラム分析を使用して、実際にシステムを実行せずに実行時のログシーケンスを生成する。 AutoLogは、アプリケーションのコールグラフに関連する包括的なロギングステートメントの探索から始まる。 次に、コールグラフをプルーニングした後、各メソッドの実行グラフを構築し、ログ関連の実行パスをスケーラブルに見つける。 最後に、AutoLogは人間の知識に基づいて、取得した各実行パスに異常ラベルを伝搬する。 制御可能なパラメータでログ実行パスに沿って歩くことで、フレキシブルなログシーケンスを生成する。 50の人気のあるjavaプロジェクトでの実験によると、autologは、同じシステムから既存のログデータセットよりもはるかに多くの(9x-58x)ログイベントを取得し、単一のマシンで15倍の速度でログメッセージを生成する。 autologがベンチマークと自動ログ分析技術の採用を促進することを願っています。

関連論文リスト

• LogLLM: Log-based Anomaly Detection Using Large Language Models [8.03646578793411]
  大規模言語モデル(LLM)を活用するログベースの異常検出フレームワークであるLogLLMを提案する。 LogLLMはBERTを使用してログメッセージからセマンティックベクターを抽出し、変換器デコーダベースのモデルであるLlamaを使ってログシーケンスを分類する。 我々のフレームワークは、性能と適応性を高めるために設計された新しい3段階の手順によって訓練されている。
  論文  参考訳（メタデータ） (2024-11-13T12:18:00Z)
• LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
  本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。 具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。 そして、そのような知識を共有パラメータを介して対象領域に転送する。
  論文  参考訳（メタデータ） (2024-01-09T12:55:21Z)
• A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We? [42.56249610409624]
  実世界のソフトウェアシステムにおけるログデータの特徴をよりよく反映できる,アノテーション付きログデータセットの新たなコレクションであるLoghub-2.0を提供する。 我々は、より厳密で実践的な設定で15の最先端ログを徹底的に再評価し、特に、既存のメトリクスの非バランスなデータ分布に対する感度を緩和する新しい評価基準を導入する。
  論文  参考訳（メタデータ） (2023-08-21T16:24:15Z)
• Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
  自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。 本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。 本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
  論文  参考訳（メタデータ） (2023-08-17T14:19:22Z)
• LogAI: A Library for Log Analytics and Intelligence [27.889928073709516]
  LogAIは、ログ分析とインテリジェンスのためのワンストップのオープンソースライブラリである。 ログの要約、ログクラスタリング、ログ異常検出などのタスクをサポートする。 LogAIは統一されたモデルインターフェースを提供し、人気のある時系列、統計学習、ディープラーニングモデルを提供する。
  論文  参考訳（メタデータ） (2023-01-31T05:08:39Z)
• LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
  専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。 本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。 我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
  論文  参考訳（メタデータ） (2021-11-02T15:16:08Z)
• Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics [40.96246300489472]
  システムログデータセットの大規模なコレクションであるloghubを収集、リリースしました。 特にloghubは、幅広いソフトウェアシステムから収集された19の現実世界のログデータセットを提供する。 この論文の執筆時点で、ログハブデータセットは、業界と学術の両方の数百の組織によって、合計で約9万回ダウンロードされている。
  論文  参考訳（メタデータ） (2020-08-14T16:17:54Z)
• Self-Supervised Log Parsing [59.04636530383049]
  大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。 既存のアプローチは、ログ特化や手動ルール抽出に依存している。 本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
  論文  参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。