論文の概要: Structure-based Anomaly Detection and Clustering
- arxiv url: http://arxiv.org/abs/2505.12751v1
- Date: Mon, 19 May 2025 06:20:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.4392
- Title: Structure-based Anomaly Detection and Clustering
- Title(参考訳): 構造に基づく異常検出とクラスタリング
- Authors: Filippo Leveni,
- Abstract要約: 異常検出は、医療、製造、サイバーセキュリティといった領域における根本的な問題である。
本論文では,構造化データとストリーミングデータの両方において,異常検出のための新しい教師なし手法を提案する。
- 参考スコア(独自算出の注目度): 1.450405446885067
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Anomaly detection is a fundamental problem in domains such as healthcare, manufacturing, and cybersecurity. This thesis proposes new unsupervised methods for anomaly detection in both structured and streaming data settings. In the first part, we focus on structure-based anomaly detection, where normal data follows low-dimensional manifolds while anomalies deviate from them. We introduce Preference Isolation Forest (PIF), which embeds data into a high-dimensional preference space via manifold fitting, and isolates outliers using two variants: Voronoi-iForest, based on geometric distances, and RuzHash-iForest, leveraging Locality Sensitive Hashing for scalability. We also propose Sliding-PIF, which captures local manifold information for streaming scenarios. Our methods outperform existing techniques on synthetic and real datasets. We extend this to structure-based clustering with MultiLink, a novel method for recovering multiple geometric model families in noisy data. MultiLink merges clusters via a model-aware linkage strategy, enabling robust multi-class structure recovery. It offers key advantages over existing approaches, such as speed, reduced sensitivity to thresholds, and improved robustness to poor initial sampling. The second part of the thesis addresses online anomaly detection in evolving data streams. We propose Online Isolation Forest (Online-iForest), which uses adaptive, multi-resolution histograms and dynamically updates tree structures to track changes over time. It avoids retraining while achieving accuracy comparable to offline models, with superior efficiency for real-time applications. Finally, we tackle anomaly detection in cybersecurity via open-set recognition for malware classification. We enhance a Gradient Boosting classifier with MaxLogit to detect unseen malware families, a method now integrated into Cleafy's production system.
- Abstract(参考訳): 異常検出は、医療、製造、サイバーセキュリティといった領域における根本的な問題である。
本論文では,構造化データとストリーミングデータの両方において,異常検出のための新しい教師なし手法を提案する。
まず、構造に基づく異常検出に焦点をあて、通常のデータは低次元多様体に従うが、異常はそれらから逸脱する。
ここでは,空間的距離に基づくVoronoi-iForestと,局所性感性ハッシュ(Locality Sensitive Hashing)を利用したRuzHash-iForestという2つの変種を用いて,データを多次元の選好空間に組み込んだPIF(PreferenceIsolate Forest)を紹介した。
また,ストリーミングシナリオの局所多様体情報をキャプチャするSliding-PIFを提案する。
提案手法は,合成および実データを用いた既存の手法よりも優れている。
我々はこれをMultiLinkを用いた構造的クラスタリングに拡張し、ノイズの多いデータで複数の幾何学的モデルファミリを復元する新しい手法を提案する。
MultiLinkはモデル対応のリンク戦略を通じてクラスタをマージし、堅牢なマルチクラス構造回復を可能にする。
速度、閾値に対する感度の低下、初期サンプリングの貧弱さに対する堅牢性の改善など、既存のアプローチに対する重要な利点を提供する。
論文の第2部は、進化するデータストリームにおけるオンライン異常検出に対処する。
適応的マルチレゾリューションヒストグラムを用いて木構造を動的に更新し,時間とともに変化を追跡するオンライン孤立林(Online-iForest)を提案する。
オフラインモデルに匹敵する精度を保ちながら、リトレーニングを回避し、リアルタイムアプリケーションに優れた効率を提供する。
最後に,マルウェア分類のためのオープンセット認識を用いて,サイバーセキュリティにおける異常検出に取り組む。
我々は,現在Cleafyの生産システムに組み込まれているマルウェア群を検出するために,MaxLogitを用いたGradient Boosting分類器を拡張した。
関連論文リスト
- A Dataset for Semantic Segmentation in the Presence of Unknowns [49.795683850385956]
既存のデータセットは、既知のものや未知のもののみの評価を可能にするが、両方ではない。
乱雑な実環境からの多様な異常な入力を特徴とする,新しい異常セグメンテーションデータセットISSUを提案する。
データセットは、既存の異常セグメンテーションデータセットの2倍大きい。
論文 参考訳(メタデータ) (2025-03-28T10:31:01Z) - Enhancing Web Service Anomaly Detection via Fine-grained Multi-modal Association and Frequency Domain Analysis [8.860339665670255]
異常検出は、Webサービスシステムの安定性と信頼性を保証するために不可欠である。
既存の異常検出方法は、ログとメトリクスを使用して異常を検出する。
本稿では,これらの2つの問題に対処するため,FFADという新しい異常検出手法を提案する。
論文 参考訳(メタデータ) (2025-01-28T12:00:45Z) - PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
私たちはaを提案します。
フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。
我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
論文 参考訳(メタデータ) (2024-06-04T13:51:08Z) - Anomaly Detection with Ensemble of Encoder and Decoder [2.8199078343161266]
電力網における異常検出は、電力系統に対するサイバー攻撃による異常を検出し、識別することを目的としている。
本稿では,複数のエンコーダとデコーダを用いて正規サンプルのデータ分布をモデル化し,新しい異常検出手法を提案する。
ネットワーク侵入と電力系統データセットの実験結果から,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-03-11T15:49:29Z) - BSSAD: Towards A Novel Bayesian State-Space Approach for Anomaly
Detection in Multivariate Time Series [0.0]
ベイジアン状態空間異常検出(BSSAD)と呼ばれる新しい,革新的な異常検出手法を提案する。
提案手法の設計は,ベイズ状態空間アルゴリズムの次の状態予測における強みと,繰り返しニューラルネットワークとオートエンコーダの有効性を組み合わせたものである。
特に,粒子フィルタとアンサンブルカルマンフィルタのベイズ状態空間モデルの利用に着目する。
論文 参考訳(メタデータ) (2023-01-30T16:21:18Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Hybridization of Capsule and LSTM Networks for unsupervised anomaly
detection on multivariate data [0.0]
本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。
提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
論文 参考訳(メタデータ) (2022-02-11T10:33:53Z) - TadGAN: Time Series Anomaly Detection Using Generative Adversarial
Networks [73.01104041298031]
TadGANは、GAN(Generative Adversarial Networks)上に構築された教師なしの異常検出手法である。
時系列の時間相関を捉えるために,ジェネレータと批評家のベースモデルとしてLSTMリカレントニューラルネットワークを用いる。
提案手法の性能と一般化性を示すため,いくつかの異常スコアリング手法を検証し,最も適した手法を報告する。
論文 参考訳(メタデータ) (2020-09-16T15:52:04Z) - Contextual-Bandit Anomaly Detection for IoT Data in Distributed
Hierarchical Edge Computing [65.78881372074983]
IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。
本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。
提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
論文 参考訳(メタデータ) (2020-04-15T06:13:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。