Fugu-MT 論文翻訳(概要): LogLG: Weakly Supervised Log Anomaly Detection via Log-Event Graph Construction

論文の概要: LogLG: Weakly Supervised Log Anomaly Detection via Log-Event Graph Construction

arxiv url: http://arxiv.org/abs/2208.10833v1
Date: Tue, 23 Aug 2022 09:32:19 GMT
ステータス: 処理完了
システム内更新日: 2022-08-24 12:48:09.333021
Title: LogLG: Weakly Supervised Log Anomaly Detection via Log-Event Graph Construction
Title（参考訳）: LogLG:ログイベントグラフ構築によるログ異常検出の監視
Authors: Yuhui Guo, Hongcheng Guo, Renjie Chen, Jian Yang, Jiaheng Liu, Zhoujun Li, Tieqiao Zheng, Liangfan Zheng, Weichao Hou, Bo Zhang
Abstract要約: そこで本研究では,LogLGという名前のログ異常検出フレームワークを提案し,シーケンスからキーワード間のセマンティックな関係を探索する。従来の半教師付き手法と比較して,LogLGは最先端の弱教師付き手法であり,大幅な改善が達成されていることを示す。
参考スコア（独自算出の注目度）: 31.31712326361932
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Fully supervised log anomaly detection methods require a lot of labeled data to achieve promising performance. Thus, how to alleviate the heavy burden of annotating massive unlabeled log data has received much attention. Recently, many semi-supervised log anomaly detection methods have been proposed to reduce the annotation costs with the help of templates parsed from labeled normal data. However, these methods usually consider each keyword independently, which disregard the correlation among keywords in log events and the contextual relationships among log sequences. In this paper, we propose a novel weakly supervised log anomaly detection framework, named LogLG, to explore the semantic connections among keywords from sequences. Specifically, we design an iterative process, where the keywords of unlabeled logs are first extracted to construct a log-event graph in each iteration. Then, we build a subgraph annotator to alter the purpose of generating pseudo labels for unlabeled log sequences into annotating corresponding log-subgraphs. To ameliorate the annotation quality, we adopt a self-supervised task to pre-train a subgraph annotator. After that, a log anomaly detection model is trained with the pseudo labels generated by the subgraph annotator. Conditioned on the classification results, we re-extract the keywords from the classified log sequences and update the log-event graph for the next iteration. Experiments on five benchmarks validate the effectiveness of LogLG for detecting anomalies on unlabeled log data, and demonstrate that LogLG, as the state-of-the-art weakly supervised method, achieves significant improvements compared to existing semi-supervised methods.
Abstract（参考訳）: 完全な教師付きログ異常検出手法は、有望なパフォーマンスを達成するために多くのラベル付きデータを必要とする。このように、大量のラベルなしログデータの注釈の重荷を軽減する方法が注目されている。近年,ラベル付き正規データから解析したテンプレートを用いて,アノテーションコストを削減するための半教師付きログ異常検出手法が多数提案されている。しかし、これらの手法は通常、ログイベントにおけるキーワード間の相関やログシーケンス間のコンテキスト関係を無視する各キーワードを独立に考慮する。本稿では,LogLGという名前のログ異常検出フレームワークを新たに提案し,シーケンスからキーワード間のセマンティックな関係を探索する。具体的には、ラベルのないログのキーワードを最初に抽出して各イテレーションでログイベントグラフを構築する反復処理を設計する。次に、ラベルのないログシーケンスの擬似ラベルを生成する目的を、対応するログサブグラフにアノテートするために、サブグラフアノテータを構築する。アノテーションの品質を改善するために,サブグラフアノテータを事前訓練するための自己教師型タスクを採用する。その後、サブグラフアノテータによって生成された擬似ラベルを用いてログ異常検出モデルを訓練する。分類結果に基づき、分類されたログシーケンスからキーワードを再抽出し、次のイテレーションでログイベントグラフを更新する。 5つのベンチマーク実験により、ラベルなしログデータの異常検出におけるLogLGの有効性が検証され、最先端の弱い教師付き手法であるLogLGが、既存の半教師付き手法と比較して大幅に改善されていることを示す。

関連論文リスト

LogLLM: Log-based Anomaly Detection Using Large Language Models [8.03646578793411]
大規模言語モデル(LLM)を活用するログベースの異常検出フレームワークであるLogLLMを提案する。 LogLLMはBERTを使用してログメッセージからセマンティックベクターを抽出し、変換器デコーダベースのモデルであるLlamaを使ってログシーケンスを分類する。我々のフレームワークは、性能と適応性を高めるために設計された新しい3段階の手順によって訓練されている。
論文参考訳（メタデータ） (2024-11-13T12:18:00Z)
Log2graphs: An Unsupervised Framework for Log Anomaly Detection with Efficient Feature Extraction [1.474723404975345]
手動アノテーションの高コストと使用シナリオの動的な性質は、効果的なログ分析において大きな課題となる。本研究では,様々なシナリオに対応するために設計されたDualGCN-LogAEと呼ばれる新しいログ特徴抽出モデルを提案する。また,特徴抽出器に基づく教師なしログ異常検出手法であるLog2graphsを導入する。
論文参考訳（メタデータ） (2024-09-18T11:35:58Z)
Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging [33.522495018321386]
textbfEntropy サンプリングと Chain-of-Thought textbfMerging (Lemur) を用いた最先端 textbfLog 解析フレームワークを提案する。本稿では,典型的なログを効率的にクラスタリングする情報エントロピーにインスパイアされた新しいサンプリング手法を提案する。 Lemurは最先端のパフォーマンスと素晴らしい効率を実現している。
論文参考訳（メタデータ） (2024-02-28T09:51:55Z)
LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection [73.69399219776315]
本稿では,ログ異常検出(LogFormer)のためのTransformerベースの統合フレームワークを提案する。具体的には、ログデータの共有セマンティック知識を得るために、まず、ソースドメイン上で事前学習を行う。そして、そのような知識を共有パラメータを介して対象領域に転送する。
論文参考訳（メタデータ） (2024-01-09T12:55:21Z)
GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
論文参考訳（メタデータ） (2023-09-12T04:21:30Z)
ClusterLog: Clustering Logs for Effective Log-based Anomaly Detection [3.3196401064045014]
本研究では,ログキーの時間列を意味的類似性に基づいてクラスタリングするログ前処理手法であるClusterLogを提案する。セマンティックおよび感傷的に類似したログをグループ化することにより、ダウンストリームシーケンスベースのモデルでログパターンを効果的に学習する能力を改善することを目的として、単一のログキーでログシーケンスを表現することを目的としている。
論文参考訳（メタデータ） (2023-01-19T01:54:48Z)
LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
論文参考訳（メタデータ） (2022-09-16T11:51:58Z)
LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision [63.08516384181491]
専門家の手作業を必要とせず,ログメッセージの自動ラベル付けのための新しいモデリング手法であるLogLABを提案する。本手法は,監視システムが提供する推定故障時間ウィンドウを用いて,正確なラベル付きデータセットを振り返りに生成する。我々の評価によると、LogLABは3つの異なるデータセットで9つのベンチマークアプローチを一貫して上回り、大規模な障害時ウィンドウでも0.98以上のF1スコアを維持している。
論文参考訳（メタデータ） (2021-11-02T15:16:08Z)
Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
論文参考訳（メタデータ） (2021-02-23T09:17:05Z)
Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
ログ表現を学習するための分類法であるLogsyを提案する。従来の方法と比較して,F1スコアの平均0.25の改善を示す。
論文参考訳（メタデータ） (2020-08-21T07:26:55Z)
Self-Supervised Log Parsing [59.04636530383049]
大規模ソフトウェアシステムは、大量の半構造化ログレコードを生成する。既存のアプローチは、ログ特化や手動ルール抽出に依存している。本稿では,自己教師付き学習モデルを用いて解析タスクをマスク言語モデリングとして定式化するNuLogを提案する。
論文参考訳（メタデータ） (2020-03-17T19:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。