論文の概要: Unsupervised Log Anomaly Detection with Few Unique Tokens

• arxiv url: http://arxiv.org/abs/2310.08951v3
• Date: Wed, 21 May 2025 21:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.567214
• Title: Unsupervised Log Anomaly Detection with Few Unique Tokens
• Title（参考訳）: 数個のユニークなトークンを用いた教師なしログ異常検出
• Authors: Antonin Sulc, Annika Eichler, Tim Wilksen,
• Abstract要約: 本稿では,欧州XFEL加速器の制御系ノードからログデータの異常を検出する新しい手法を提案する。 確率比に基づいて個々のログエントリをスコアリングすることで異常を識別する。 高いスコアは、ノードのルーチンの振る舞いから逸脱する潜在的な異常を示す。
• 参考スコア（独自算出の注目度）: 1.9389881806157316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This article introduces a novel method for detecting anomalies within log data from control system nodes at the European XFEL accelerator. Effective anomaly detection is crucial for providing operators with a clear understanding of each node's availability, status, and potential problems, thereby ensuring smooth accelerator operation. Traditional and learning-based anomaly detection methods face significant limitations due to the sequential nature of these logs and the lack of a rich, node-specific text corpus. To address this, we propose an approach utilizing word embeddings to represent log entries and a Hidden Markov Model (HMM) to model the typical sequential patterns of these embeddings for individual nodes. Anomalies are identified by scoring individual log entries based on a probability ratio: this ratio compares the likelihood of the log sequence including the new entry against its likelihood without it, effectively measuring how well the new entry fits the established pattern. High scores indicate potential anomalies that deviate from the node's routine behavior. This method functions as a warning system, alerting operators to irregular log events that may signify underlying issues, thereby facilitating proactive intervention.
• Abstract（参考訳）: 本稿では,欧州XFEL加速器の制御系ノードからログデータの異常を検出する新しい手法を提案する。 効率の良い異常検出は、各ノードの可用性、ステータス、潜在的な問題を明確に把握し、スムーズな加速演算を保証するために重要である。 従来の学習に基づく異常検出手法は、これらのログのシーケンシャルな性質と、リッチでノード固有のテキストコーパスの欠如により、重大な制限に直面している。 そこで本稿では,単語埋め込みを利用してログエントリを表現し,HMM(Hidden Markov Model)を用いて個々のノードに対する埋め込みの典型的な逐次パターンをモデル化する手法を提案する。 この比率は、新しいエントリを含むログシーケンスの確率を、それなしでその可能性と比較し、新しいエントリが確立したパターンにどの程度適合するかを効果的に測定する。 高いスコアは、ノードのルーチン動作から逸脱する潜在的な異常を示す。 この方法は警告システムとして機能し、オペレーターに不規則なログイベントを警告する。

関連論文リスト

• Rethinking Contrastive Learning in Graph Anomaly Detection: A Clean-View Perspective [54.605073936695575]
  グラフ異常検出は、Webセキュリティやファイナンシャル不正検出などの分野で広く応用されているグラフベースのデータにおいて、異常なパターンを特定することを目的としている。 既存の手法は対照的な学習に依存しており、ノードとその局所部分グラフの間のより低い類似性は異常を示すと仮定する。 干渉エッジの存在は、対照的な学習過程を損なう破壊的なノイズをもたらすため、この仮定を無効にする。 コントラスト学習プロセスにおいて重要な干渉源を特定するために,複数スケールの異常認識モジュールを含むクリーンビュー拡張グラフ異常検出フレームワーク(CVGAD)を提案する。
  論文  参考訳（メタデータ） (2025-05-23T15:05:56Z)
• ADALog: Adaptive Unsupervised Anomaly detection in Logs with Self-attention Masked Language Model [2.55347686868565]
  ADALogは適応的で教師なしの異常検出フレームワークである。 個々の非構造化ログで動作し、ログ内のコンテキスト関係を抽出し、通常のデータに対して適応しきい値を設定する。 BGL,Thunderbird,Spiritのベンチマークデータセット上でADALogを評価する。
  論文  参考訳（メタデータ） (2025-05-15T17:31:40Z)
• Multitask Active Learning for Graph Anomaly Detection [48.690169078479116]
  MultItask acTIve Graph Anomaly Detection framework,すなわちMITIGATEを提案する。 ノード分類タスクを結合することにより、MITIGATEは既知の異常を伴わずに配布外ノードを検出する能力を得る。 4つのデータセットに関する実証的研究は、MITIGATEが異常検出のための最先端の手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2024-01-24T03:43:45Z)
• Semi-supervised learning via DQN for log anomaly detection [1.5339370927841764]
  ログ異常検出における現在の手法は、ラベルなしデータの未使用、正規クラスと異常クラスのデータの不均衡、偽陽性と偽陰性率などの課題に直面している。 本稿では,DQNLogと呼ばれる半教師付きログ異常検出手法を提案する。 広く使われている3つのデータセット上でDQNLogを評価し、大規模未ラベルデータを効果的に活用できることを実証した。
  論文  参考訳（メタデータ） (2024-01-06T08:04:13Z)
• A Supervised Embedding and Clustering Anomaly Detection method for classification of Mobile Network Faults [0.0]
  本稿では,SEMC-AD(Supervised Embedding and Clustering Anomaly Detection)を紹介する。 モバイルネットワークにおける異常警報ログを効率よく識別し、手動監視の課題を軽減するために設計された手法である。 SEMC-ADは99%の異常検出を達成し、ランダム森林とXGBoostはそれぞれ86%と81%の異常を検知している。
  論文  参考訳（メタデータ） (2023-10-10T16:54:25Z)
• GLAD: Content-aware Dynamic Graphs For Log Anomaly Detection [49.9884374409624]
  GLADは、システムログの異常を検出するように設計されたグラフベースのログ異常検出フレームワークである。 システムログの異常を検出するために設計されたグラフベースのログ異常検出フレームワークであるGLADを紹介する。
  論文  参考訳（メタデータ） (2023-09-12T04:21:30Z)
• BOURNE: Bootstrapped Self-supervised Learning Framework for Unified Graph Anomaly Detection [50.26074811655596]
  自己指導型自己学習(BOURNE)に基づく新しい統合グラフ異常検出フレームワークを提案する。 ノードとエッジ間のコンテキスト埋め込みを交換することで、ノードとエッジの異常を相互に検出できる。 BOURNEは、負のサンプリングを必要としないため、大きなグラフを扱う際の効率を高めることができる。
  論文  参考訳（メタデータ） (2023-07-28T00:44:57Z)
• Graph Neural Networks based Log Anomaly Detection and Explanation [19.66344385835598]
  イベントログは、ハイテクシステムのステータスを記録するために広く使用されている。 ほとんどの既存のログ異常検出方法は、ログイベントカウント行列またはログイベントシーケンスを入力として取り込む。 我々はLogs2Graphsと呼ばれる教師なしログ異常検出のためのグラフベースの手法を提案する。
  論文  参考訳（メタデータ） (2023-07-02T09:38:43Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• LogGD:Detecting Anomalies from System Logs by Graph Neural Networks [14.813971618949068]
  本稿では,グラフに基づくログ異常検出手法であるLogGDを提案し,この問題に効果的に対処する。 グラフ構造とノードセマンティクスを組み合わせてログベースの異常検出を行うグラフトランスフォーマーニューラルネットワークの強力な機能を利用する。
  論文  参考訳（メタデータ） (2022-09-16T11:51:58Z)
• LogLG: Weakly Supervised Log Anomaly Detection via Log-Event Graph Construction [31.31712326361932]
  そこで本研究では,LogLGという名前のログ異常検出フレームワークを提案し,シーケンスからキーワード間のセマンティックな関係を探索する。 具体的には、ラベルなしログのキーワードを最初に抽出してログイベントグラフを構築するエンド・ツー・エンドの反復処理を設計する。 そして、未ラベルのログシーケンスの擬似ラベルを生成するために、サブグラフアノテータを構築する。
  論文  参考訳（メタデータ） (2022-08-23T09:32:19Z)
• A2Log: Attentive Augmented Log Anomaly Detection [53.06341151551106]
  異常検出は、ITサービスの信頼性とサービス性にとってますます重要になる。 既存の教師なし手法は、適切な決定境界を得るために異常な例を必要とする。 我々は,異常判定と異常判定の2段階からなる教師なし異常検出手法であるA2Logを開発した。
  論文  参考訳（メタデータ） (2021-09-20T13:40:21Z)
• Log-based Anomaly Detection Without Log Parsing [7.66638994053231]
  ログ解析を必要としない新しいログベースの異常検出手法であるNeuralLogを提案する。 実験の結果,提案手法はログメッセージの意味を効果的に理解できることがわかった。 全体として、NeuralLogは4つの公開データセットで0.95以上のF1スコアを獲得し、既存のアプローチを上回っている。
  論文  参考訳（メタデータ） (2021-08-04T10:42:13Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Recomposition vs. Prediction: A Novel Anomaly Detection for Discrete Events Based On Autoencoder [5.781280693720236]
  侵入検知の分野で最も難しい問題の1つは、離散イベントログの異常検出である。 離散イベントログのDeep Autoencoderベースの異常検出手法であるDabLogを提案する。 解析(符号化)と再構成(復号化)により、シーケンスが正常または異常かどうかを判定します。
  論文  参考訳（メタデータ） (2020-12-27T16:31:05Z)
• ESAD: End-to-end Deep Semi-supervised Anomaly Detection [85.81138474858197]
  正規データと異常データの間のKL偏差を計測する新たな目的関数を提案する。 提案手法は,複数のベンチマークデータセットの最先端性能を著しく上回っている。
  論文  参考訳（メタデータ） (2020-12-09T08:16:35Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。