論文の概要: AutoLog: A Log Sequence Synthesis Framework for Anomaly Detection
- arxiv url: http://arxiv.org/abs/2308.09324v1
- Date: Fri, 18 Aug 2023 05:56:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 13:37:35.136909
- Title: AutoLog: A Log Sequence Synthesis Framework for Anomaly Detection
- Title(参考訳): AutoLog: 異常検出のためのログシーケンス合成フレームワーク
- Authors: Yintong Huo, Yichen Li, Yuxin Su, Pinjia He, Zifan Xie, and Michael R.
Lyu
- Abstract要約: AutoLogは、異常検出のための最初の自動ログ生成手法である。
実際にシステムを実行することなく、実行時のログシーケンスを生成する。
人間の知識に基づいて、取得した各実行パスに異常ラベルを伝搬する。
- 参考スコア(独自算出の注目度): 34.91789047641838
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid progress of modern computing systems has led to a growing interest
in informative run-time logs. Various log-based anomaly detection techniques
have been proposed to ensure software reliability. However, their
implementation in the industry has been limited due to the lack of high-quality
public log resources as training datasets.
While some log datasets are available for anomaly detection, they suffer from
limitations in (1) comprehensiveness of log events; (2) scalability over
diverse systems; and (3) flexibility of log utility. To address these
limitations, we propose AutoLog, the first automated log generation methodology
for anomaly detection. AutoLog uses program analysis to generate run-time log
sequences without actually running the system. AutoLog starts with probing
comprehensive logging statements associated with the call graphs of an
application. Then, it constructs execution graphs for each method after pruning
the call graphs to find log-related execution paths in a scalable manner.
Finally, AutoLog propagates the anomaly label to each acquired execution path
based on human knowledge. It generates flexible log sequences by walking along
the log execution paths with controllable parameters. Experiments on 50 popular
Java projects show that AutoLog acquires significantly more (9x-58x) log events
than existing log datasets from the same system, and generates log messages
much faster (15x) with a single machine than existing passive data collection
approaches. We hope AutoLog can facilitate the benchmarking and adoption of
automated log analysis techniques.
- Abstract(参考訳): 現代のコンピューティングシステムの急速な進歩により、情報的ランタイムログへの関心が高まっている。
ソフトウェアの信頼性を確保するため、ログベースの様々な異常検出技術が提案されている。
しかしながら、業界における彼らの実装は、トレーニングデータセットとして高品質な公開ログリソースが欠如しているため制限されている。
いくつかのログデータセットは異常検出が可能であるが、(1)ログイベントの包括性、(2)多様なシステムに対するスケーラビリティ、(3)ログユーティリティの柔軟性に制限がある。
これらの制約に対処するため,自動ログ生成手法であるAutoLogを提案する。
AutoLogはプログラム分析を使用して、実際にシステムを実行せずに実行時のログシーケンスを生成する。
AutoLogは、アプリケーションのコールグラフに関連する包括的なロギングステートメントの探索から始まる。
次に、コールグラフをプルーニングした後、各メソッドの実行グラフを構築し、ログ関連の実行パスをスケーラブルに見つける。
最後に、AutoLogは人間の知識に基づいて、取得した各実行パスに異常ラベルを伝搬する。
制御可能なパラメータでログ実行パスに沿って歩くことで、フレキシブルなログシーケンスを生成する。
50の人気のあるjavaプロジェクトでの実験によると、autologは、同じシステムから既存のログデータセットよりもはるかに多くの(9x-58x)ログイベントを取得し、単一のマシンで15倍の速度でログメッセージを生成する。
autologがベンチマークと自動ログ分析技術の採用を促進することを願っています。
関連論文リスト
- LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。
具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。
そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文 参考訳(メタデータ) (2024-01-09T12:55:21Z) - LogLead -- Fast and Integrated Log Loader, Enhancer, and Anomaly
Detector [8.598890329797529]
本稿では,効率的なログ解析ベンチマークのためのツールであるLogLeadを紹介する。
LogLeadは、ロード、エンハンスメント、異常検出という、ログ処理における3つの重要なステップを組み合わせたものだ。
原ファイルからデータフレームへのログローディングは,従来のソリューションに比べてLogLeadの方が10倍以上高速であることを示す。
論文 参考訳(メタデータ) (2023-11-20T14:42:13Z) - A Large-scale Benchmark for Log Parsing [44.16309634200891]
さまざまなログデータセットが存在しており、これらのツールをベンチマークして機能やパフォーマンスを理解することが不可欠である。
ログ解析のための既存のデータセットは、スケールと代表性の点で制限されている。
我々は,実世界のソフトウェアシステムで観測されるログデータをより正確に反映した,LogPubという,大規模アノテートログデータセットのコレクションを導入する。
論文 参考訳(メタデータ) (2023-08-21T16:24:15Z) - Log Parsing Evaluation in the Era of Modern Software Systems [47.370291246632114]
自動ログ分析、ログ解析は、ログから洞察を導き出すための前提条件である。
本研究は,ログ解析分野の問題点,特に異種実世界のログ処理における非効率性を明らかにする。
本稿では,企業コンテキストにおけるログ解析性能を推定するツールであるLogchimeraを提案する。
論文 参考訳(メタデータ) (2023-08-17T14:19:22Z) - LogAI: A Library for Log Analytics and Intelligence [27.889928073709516]
LogAIは、ログ分析とインテリジェンスのためのワンストップのオープンソースライブラリである。
ログの要約、ログクラスタリング、ログ異常検出などのタスクをサポートする。
LogAIは統一されたモデルインターフェースを提供し、人気のある時系列、統計学習、ディープラーニングモデルを提供する。
論文 参考訳(メタデータ) (2023-01-31T05:08:39Z) - LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak
Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。
本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。
我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文 参考訳(メタデータ) (2021-11-02T15:16:08Z) - Loghub: A Large Collection of System Log Datasets for AI-driven Log
Analytics [40.96246300489472]
システムログデータセットの大規模なコレクションであるloghubを収集、リリースしました。
特にloghubは、幅広いソフトウェアシステムから収集された19の現実世界のログデータセットを提供する。
この論文の執筆時点で、ログハブデータセットは、業界と学術の両方の数百の組織によって、合計で約9万回ダウンロードされている。
論文 参考訳(メタデータ) (2020-08-14T16:17:54Z) - Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。
既存のアプローチは、ログ特化や手動ルール抽出に依存している。
本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文 参考訳(メタデータ) (2020-03-17T19:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。