論文の概要: A Supervised Embedding and Clustering Anomaly Detection method for classification of Mobile Network Faults

• arxiv url: http://arxiv.org/abs/2310.06779v1
• Date: Tue, 10 Oct 2023 16:54:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 14:24:18.047810
• Title: A Supervised Embedding and Clustering Anomaly Detection method for classification of Mobile Network Faults
• Title（参考訳）: 移動ネットワーク故障の分類のための修正埋め込み・クラスタリング異常検出法
• Authors: R. Mosayebi, H. Kia, A. Kianpour Raki
• Abstract要約: 本稿では,SEMC-AD(Supervised Embedding and Clustering Anomaly Detection)を紹介する。 モバイルネットワークにおける異常警報ログを効率よく識別し、手動監視の課題を軽減するために設計された手法である。 SEMC-ADは99%の異常検出を達成し、ランダム森林とXGBoostはそれぞれ86%と81%の異常を検知している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The paper introduces Supervised Embedding and Clustering Anomaly Detection (SEMC-AD), a method designed to efficiently identify faulty alarm logs in a mobile network and alleviate the challenges of manual monitoring caused by the growing volume of alarm logs. SEMC-AD employs a supervised embedding approach based on deep neural networks, utilizing historical alarm logs and their labels to extract numerical representations for each log, effectively addressing the issue of imbalanced classification due to a small proportion of anomalies in the dataset without employing one-hot encoding. The robustness of the embedding is evaluated by plotting the two most significant principle components of the embedded alarm logs, revealing that anomalies form distinct clusters with similar embeddings. Multivariate normal Gaussian clustering is then applied to these components, identifying clusters with a high ratio of anomalies to normal alarms (above 90%) and labeling them as the anomaly group. To classify new alarm logs, we check if their embedded vectors' two most significant principle components fall within the anomaly-labeled clusters. If so, the log is classified as an anomaly. Performance evaluation demonstrates that SEMC-AD outperforms conventional random forest and gradient boosting methods without embedding. SEMC-AD achieves 99% anomaly detection, whereas random forest and XGBoost only detect 86% and 81% of anomalies, respectively. While supervised classification methods may excel in labeled datasets, the results demonstrate that SEMC-AD is more efficient in classifying anomalies in datasets with numerous categorical features, significantly enhancing anomaly detection, reducing operator burden, and improving network maintenance.
• Abstract（参考訳）: 本稿では,モバイルネットワークにおける異常アラームログを効率よく検出し,アラームログの増大に伴う手動監視の課題を軽減する手法であるSupervised Embedding and Clustering Anomaly Detection (SEMC-AD)を紹介する。 SEMC-ADは、ディープニューラルネットワークに基づく教師付き埋め込みアプローチを採用し、履歴アラームログとそのラベルを使用して、各ログの数値表現を抽出し、ワンホット符号化を使わずに、データセット内のわずかな異常による不均衡な分類の問題に効果的に対処する。 組込みの堅牢性は、組込みアラームログの2つの最も重要な原理成分をプロットすることによって評価され、異常が類似の組込みを伴う異なるクラスタを形成することが明らかになった。 多変量正規ガウスクラスタリングはこれらの成分に適用され、異常率の高いクラスターを正常なアラーム(90%以上)と同定し、それらのクラスターを異常群と分類する。 新しいアラームログを分類するために、組込みベクトルの2つの最も重要な原理成分が異常ラベル付きクラスタ内にあるかどうかを確認する。 もしそうなら、ログは異常に分類される。 SEMC-ADは埋没せずに従来のランダム林や勾配増進法よりも優れた性能を示す。 SEMC-ADは99%の異常検出を達成し、ランダム森林とXGBoostはそれぞれ86%と81%の異常を検知している。 教師付き分類法はラベル付きデータセットで優れているが,SEMC-ADは,多くの分類的特徴を持つデータセットの異常の分類,異常検出の大幅な向上,演算子負担の低減,ネットワークメンテナンスの改善に有効であることを示す。

関連論文リスト

• ARC: A Generalist Graph Anomaly Detector with In-Context Learning [62.202323209244]
  ARCは汎用的なGADアプローチであり、一対一のGADモデルで様々なグラフデータセットの異常を検出することができる。 ARCはコンテキスト内学習を備えており、ターゲットデータセットからデータセット固有のパターンを直接抽出することができる。 各種領域からの複数のベンチマークデータセットに対する大規模な実験は、ARCの優れた異常検出性能、効率、一般化性を示す。
  論文  参考訳（メタデータ） (2024-05-27T02:42:33Z)
• Open-Set Graph Anomaly Detection via Normal Structure Regularisation [30.638274744518682]
  Open-set Graph Anomaly Detection (GAD)は、少数の正規ノードと異常ノードを使用して検出モデルをトレーニングすることを目的としている。 現在の監督型GAD法は、目に見えない異常を正常なノードとして検出する多くの誤りを招き、その異常を過度に強調する傾向にある。 本稿では,新しいオープンセットGAD手法,すなわち正規構造正規化(NSReg)を提案する。
  論文  参考訳（メタデータ） (2023-11-12T13:25:28Z)
• A Coarse-to-Fine Pseudo-Labeling (C2FPL) Framework for Unsupervised Video Anomaly Detection [4.494911384096143]
  ビデオにおける異常事象の検出は、監視などのアプリケーションにおいて重要な問題である。 セグメントレベル(正規/異常)の擬似ラベルを生成する簡易な2段擬似ラベル生成フレームワークを提案する。 提案した粗大な擬似ラベル生成器は、慎重に設計された階層的分割クラスタリングと統計的仮説テストを用いている。
  論文  参考訳（メタデータ） (2023-10-26T17:59:19Z)
• MSFlow: Multi-Scale Flow-based Framework for Unsupervised Anomaly Detection [124.52227588930543]
  教師なし異常検出(UAD)は多くの研究の関心を集め、幅広い応用を推進している。 不明瞭だが強力な統計モデルである正規化フローは、教師なしの方法で異常検出と局所化に適している。 非対称な並列フローと融合フローからなるMSFlowと呼ばれる新しいマルチスケールフローベースフレームワークを提案する。 我々のMSFlowは、検出AUORCスコアが99.7%、ローカライゼーションAUCROCスコアが98.8%、プロスコアが97.1%の新たな最先端技術を実現している。
  論文  参考訳（メタデータ） (2023-08-29T13:38:35Z)
• RoSAS: Deep Semi-Supervised Anomaly Detection with Contamination-Resilient Continuous Supervision [21.393509817509464]
  本稿では, テクスト汚染耐性連続監視信号を考案した, 半教師付き異常検出手法を提案する。 当社のアプローチは、AUC-PRにおいて最先端の競合他社を20%-30%上回っている。
  論文  参考訳（メタデータ） (2023-07-25T04:04:49Z)
• Clustering Aided Weakly Supervised Training to Detect Anomalous Events in Surveillance Videos [20.368114998124295]
  ランダムなバッチ選択機構を含む複数のコントリビューションを有する弱教師付き異常検出システムを提案する。 ラベルノイズを緩和し,異常領域と正常領域の表現学習を改善するために,クラスタリング損失ブロックを提案する。 提案手法の大規模解析は,3つの一般的な異常検出データセットを用いて行われる。
  論文  参考訳（メタデータ） (2022-03-25T15:18:19Z)
• SLA$^2$P: Self-supervised Anomaly Detection with Adversarial Perturbation [77.71161225100927]
  異常検出は、機械学習の基本的な問題であるが、難しい問題である。 本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
  論文  参考訳（メタデータ） (2021-11-25T03:53:43Z)
• Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
  本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。 提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。 我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2021-08-01T14:33:17Z)
• Self-Trained One-class Classification for Unsupervised Anomaly Detection [56.35424872736276]
  異常検出(AD)は、製造から医療まで、さまざまな分野に応用されている。 本研究は、トレーニングデータ全体がラベル付けされておらず、正規サンプルと異常サンプルの両方を含む可能性のある、教師なしAD問題に焦点を当てる。 この問題に対処するため,データリファインメントによる堅牢な一級分類フレームワークを構築した。 本手法は6.3AUCと12.5AUCの平均精度で最先端の1クラス分類法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-11T01:36:08Z)
• CLAWS: Clustering Assisted Weakly Supervised Learning with Normalcy Suppression for Anomalous Event Detection [20.368114998124295]
  本稿では,多様体の寄与を考慮した弱教師付き異常検出手法を提案する。 提案手法は, UCF Crime と ShanghaiTech のデータセットでそれぞれ 83.03% と 89.67% のフレームレベルの AUC 性能を得る。
  論文  参考訳（メタデータ） (2020-11-24T13:27:40Z)
• Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs [59.04636530383049]
  ログ表現を学習するための分類法であるLogsyを提案する。 従来の方法と比較して,F1スコアの平均0.25の改善を示す。
  論文  参考訳（メタデータ） (2020-08-21T07:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。