論文の概要: Unsupervised Log Anomaly Detection with Few Unique Tokens

• arxiv url: http://arxiv.org/abs/2310.08951v3
• Date: Wed, 21 May 2025 21:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.567214
• Title: Unsupervised Log Anomaly Detection with Few Unique Tokens
• Title（参考訳）: 数個のユニークなトークンを用いた教師なしログ異常検出
• Authors: Antonin Sulc, Annika Eichler, Tim Wilksen,
• Abstract要約: 本稿では,欧州XFEL加速器の制御系ノードからログデータの異常を検出する新しい手法を提案する。 確率比に基づいて個々のログエントリをスコアリングすることで異常を識別する。 高いスコアは、ノードのルーチンの振る舞いから逸脱する潜在的な異常を示す。
• 参考スコア（独自算出の注目度）: 1.9389881806157316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article introduces a novel method for detecting anomalies within log data from control system nodes at the European XFEL accelerator. Effective anomaly detection is crucial for providing operators with a clear understanding of each node's availability, status, and potential problems, thereby ensuring smooth accelerator operation. Traditional and learning-based anomaly detection methods face significant limitations due to the sequential nature of these logs and the lack of a rich, node-specific text corpus. To address this, we propose an approach utilizing word embeddings to represent log entries and a Hidden Markov Model (HMM) to model the typical sequential patterns of these embeddings for individual nodes. Anomalies are identified by scoring individual log entries based on a probability ratio: this ratio compares the likelihood of the log sequence including the new entry against its likelihood without it, effectively measuring how well the new entry fits the established pattern. High scores indicate potential anomalies that deviate from the node's routine behavior. This method functions as a warning system, alerting operators to irregular log events that may signify underlying issues, thereby facilitating proactive intervention.
• Abstract（参考訳）: 本稿では,欧州XFEL加速器の制御系ノードからログデータの異常を検出する新しい手法を提案する。 効率の良い異常検出は、各ノードの可用性、ステータス、潜在的な問題を明確に把握し、スムーズな加速演算を保証するために重要である。 従来の学習に基づく異常検出手法は、これらのログのシーケンシャルな性質と、リッチでノード固有のテキストコーパスの欠如により、重大な制限に直面している。 そこで本稿では,単語埋め込みを利用してログエントリを表現し,HMM(Hidden Markov Model)を用いて個々のノードに対する埋め込みの典型的な逐次パターンをモデル化する手法を提案する。 この比率は、新しいエントリを含むログシーケンスの確率を、それなしでその可能性と比較し、新しいエントリが確立したパターンにどの程度適合するかを効果的に測定する。 高いスコアは、ノードのルーチン動作から逸脱する潜在的な異常を示す。 この方法は警告システムとして機能し、オペレーターに不規則なログイベントを警告する。

関連論文リスト

• Multitask Active Learning for Graph Anomaly Detection [48.690169078479116]
  MultItask acTIve Graph Anomaly Detection framework,すなわちMITIGATEを提案する。 ノード分類タスクを結合することにより、MITIGATEは既知の異常を伴わずに配布外ノードを検出する能力を得る。 4つのデータセットに関する実証的研究は、MITIGATEが異常検出のための最先端の手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-24T03:43:45Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• BOURNE: Bootstrapped Self-supervised Learning Framework for Unified Graph Anomaly Detection [50.26074811655596]
  自己指導型自己学習(BOURNE)に基づく新しい統合グラフ異常検出フレームワークを提案する。 ノードとエッジ間のコンテキスト埋め込みを交換することで、ノードとエッジの異常を相互に検出できる。 BOURNEは、負のサンプリングを必要としないため、大きなグラフを扱う際の効率を高めることができる。
  論文  参考訳（メタデータ） (2023-07-28T00:44:57Z)
• Graph Neural Networks based Log Anomaly Detection and Explanation [19.66344385835598]
  イベントログは、ハイテクシステムのステータスを記録するために広く使用されている。 ほとんどの既存のログ異常検出方法は、ログイベントカウント行列またはログイベントシーケンスを入力として取り込む。 我々はLogs2Graphsと呼ばれる教師なしログ異常検出のためのグラフベースの手法を提案する。
  論文  参考訳（メタデータ） (2023-07-02T09:38:43Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• LogLG: Weakly Supervised Log Anomaly Detection via Log-Event Graph Construction [31.31712326361932]
  そこで本研究では,LogLGという名前のログ異常検出フレームワークを提案し,シーケンスからキーワード間のセマンティックな関係を探索する。 具体的には、ラベルなしログのキーワードを最初に抽出してログイベントグラフを構築するエンド・ツー・エンドの反復処理を設計する。 そして、未ラベルのログシーケンスの擬似ラベルを生成するために、サブグラフアノテータを構築する。
  論文  参考訳（メタデータ） (2022-08-23T09:32:19Z)
• A2Log: Attentive Augmented Log Anomaly Detection [53.06341151551106]
  異常検出は、ITサービスの信頼性とサービス性にとってますます重要になる。 既存の教師なし手法は、適切な決定境界を得るために異常な例を必要とする。 我々は,異常判定と異常判定の2段階からなる教師なし異常検出手法であるA2Logを開発した。
  論文  参考訳（メタデータ） (2021-09-20T13:40:21Z)
• Log-based Anomaly Detection Without Log Parsing [7.66638994053231]
  ログ解析を必要としない新しいログベースの異常検出手法であるNeuralLogを提案する。 実験の結果,提案手法はログメッセージの意味を効果的に理解できることがわかった。 全体として、NeuralLogは4つの公開データセットで0.95以上のF1スコアを獲得し、既存のアプローチを上回っている。
  論文  参考訳（メタデータ） (2021-08-04T10:42:13Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Recomposition vs. Prediction: A Novel Anomaly Detection for Discrete Events Based On Autoencoder [5.781280693720236]
  侵入検知の分野で最も難しい問題の1つは、離散イベントログの異常検出である。 離散イベントログのDeep Autoencoderベースの異常検出手法であるDabLogを提案する。 解析(符号化)と再構成(復号化)により、シーケンスが正常または異常かどうかを判定します。
  論文  参考訳（メタデータ） (2020-12-27T16:31:05Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。