論文の概要: Streaming Anomaly Detection

• arxiv url: http://arxiv.org/abs/2301.13199v1
• Date: Mon, 30 Jan 2023 18:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 13:12:21.926127
• Title: Streaming Anomaly Detection
• Title（参考訳）: ストリーミング異常検出
• Authors: Siddharth Bhatia
• Abstract要約: まず、カウントミンスケッチを用いて動的グラフの異常エッジをオンラインで検出するMIDASを提案する。 次に、カウントミンスケッチをHigher-Orderスケッチに拡張し、グラフデータの複雑な関係をキャプチャします。 このスケッチを用いて,エッジおよびサブグラフ異常を検出する4つのストリーミング手法を提案する。
• 参考スコア（独自算出の注目度）: 7.60882697435906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Anomaly detection is critical for finding suspicious behavior in innumerable systems. We need to detect anomalies in real-time, i.e. determine if an incoming entity is anomalous or not, as soon as we receive it, to minimize the effects of malicious activities and start recovery as soon as possible. Therefore, online algorithms that can detect anomalies in a streaming manner are essential. We first propose MIDAS which uses a count-min sketch to detect anomalous edges in dynamic graphs in an online manner, using constant time and memory. We then propose two variants, MIDAS-R which incorporates temporal and spatial relations, and MIDAS-F which aims to filter away anomalous edges to prevent them from negatively affecting the internal data structures. We then extend the count-min sketch to a Higher-Order sketch to capture complex relations in graph data, and to reduce detecting suspicious dense subgraph problem to finding a dense submatrix in constant time. Using this sketch, we propose four streaming methods to detect edge and subgraph anomalies. Next, we broaden the graph setting to multi-aspect data. We propose MStream which detects explainable anomalies in multi-aspect data streams. We further propose MStream-PCA, MStream-IB, and MStream-AE to incorporate correlation between features. Finally, we consider multi-dimensional data streams with concept drift and propose MemStream. MemStream leverages the power of a denoising autoencoder to learn representations and a memory module to learn the dynamically changing trend in data without the need for labels. We prove a theoretical bound on the size of memory for effective drift handling. In addition, we allow quick retraining when the arriving stream becomes sufficiently different from the training data. Furthermore, MemStream makes use of two architecture design choices to be robust to memory poisoning.
• Abstract（参考訳）: 異常検出は、無数のシステムで不審な振る舞いを見つけるために重要である。 私たちは、悪意のある活動の影響を最小限に抑え、できるだけ早く回復を開始するために、受信したエンティティが異常であるかどうかをリアルタイムで判断する必要があります。 したがって、ストリーミング方式で異常を検出できるオンラインアルゴリズムは不可欠である。 まず,時間とメモリを用いて動的グラフの異常なエッジを検出するために,カウントミンスケッチを用いたMIDASを提案する。 次に、時間的・空間的関係を組み込んだMIDAS-Rと、異常なエッジをフィルタリングして内部データ構造に悪影響を及ぼさないMIDAS-Fを提案する。 次に、グラフデータにおける複雑な関係をキャプチャするために、カウントミンスケッチを高階スケッチに拡張し、疑わしい部分グラフ問題の検出を一定時間内に高密度部分行列を見つけるまで低減する。 このスケッチを用いて,エッジおよびサブグラフ異常を検出する4つのストリーミング手法を提案する。 次に、グラフ設定をマルチアスペクトデータに拡張する。 マルチアスペクトデータストリームにおける説明可能な異常を検出するMStreamを提案する。 さらに,特徴間の相関を組み込むため,MStream-PCA,MStream-IB,MStream-AEを提案する。 最後に,概念ドリフトを用いた多次元データストリームを考察し,memstreamを提案する。 memstreamは自動エンコーダのパワーを利用して表現を学習し、メモリモジュールを使ってラベルなしで動的に変化するデータトレンドを学習する。 ドリフト処理を効果的に行うため,メモリサイズに理論的拘束力を示す。 また、到着ストリームがトレーニングデータと十分に異なる場合の迅速な再訓練を可能にする。 さらにMemStreamは、メモリ中毒に対して堅牢な2つのアーキテクチャ設計を選択している。

関連論文リスト

• A Mirror Descent-Based Algorithm for Corruption-Tolerant Distributed Gradient Descent [57.64826450787237]
  本研究では, 分散勾配降下アルゴリズムの挙動を, 敵対的腐敗の有無で解析する方法を示す。 汚職耐性の分散最適化アルゴリズムを設計するために、(怠慢な)ミラー降下からアイデアをどう使うかを示す。 MNISTデータセットの線形回帰、サポートベクトル分類、ソフトマックス分類に基づく実験は、我々の理論的知見を裏付けるものである。
  論文  参考訳（メタデータ） (2024-07-19T08:29:12Z)
• Context Recovery and Knowledge Retrieval: A Novel Two-Stream Framework for Video Anomaly Detection [48.05512963355003]
  本稿では,文脈回復と知識検索に基づく2ストリームフレームワークを提案する。 文脈回復ストリームに対しては,動き情報を完全に活用して将来のフレームを予測するU-Netを提案する。 知識検索ストリームに対して,学習可能な局所性に敏感なハッシュを提案する。 正規性に関する知識をハッシュテーブルにエンコードして格納し、テストイベントと知識表現の間の距離を用いて異常の確率を明らかにする。
  論文  参考訳（メタデータ） (2022-09-07T03:12:02Z)
• Improved Multi-objective Data Stream Clustering with Time and Memory Optimization [0.0]
  本稿では,新しいデータストリームクラスタリング手法(IMOC-Stream)を提案する。 2つの異なる目的関数を使用して、データの異なる側面をキャプチャする。 実験により, 任意の形状, コンパクト, 分離されたクラスタにデータストリームを分割できることを示す。
  論文  参考訳（メタデータ） (2022-01-13T17:05:56Z)
• SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
  既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。 KRRのストリーミング版であるStreaMRAKを提案する。 本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
  論文  参考訳（メタデータ） (2021-08-23T21:03:09Z)
• Sketch-Based Anomaly Detection in Streaming Graphs [89.52200264469364]
  動的グラフからのグラフエッジのストリームを前提に、オンライン形式でエッジやサブグラフに異常スコアを割り当てるにはどうすればよいのか? 本手法は,高密度部分グラフ探索を取り入れた最初のストリーミング手法であり,一定時間におけるグラフ異常を検出する。
  論文  参考訳（メタデータ） (2021-06-08T16:10:36Z)
• MemStream: Memory-Based Anomaly Detection in Multi-Aspect Streams with Concept Drift [20.143379054091536]
  本稿では,ストリーミングマルチアスペクト異常検出フレームワークであるMemStreamを提案する。 我々はデノナイズドオートエンコーダのパワーを活用して表現とメモリモジュールを学習し、データの動的に変化する傾向を学習する。 実験により,最先端のストリーミングベースラインと比較して,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-06-07T17:54:57Z)
• Real-Time Anomaly Detection in Edge Streams [49.26098240310257]
  マイクロクラスタ異常の検出に焦点を当てたMIDASを提案する。 さらに、アルゴリズムの内部状態に異常が組み込まれている問題を解くために、MIDAS-Fを提案する。 実験の結果,MIDAS-Fの精度はMIDASよりも有意に高かった。
  論文  参考訳（メタデータ） (2020-09-17T17:59:27Z)
• MSTREAM: Fast Anomaly Detection in Multi-Aspect Streams [33.20161160552062]
  MSTREAMは異常な集団異常を動的に検出することができる。 KDDCUP99、CICIDS-DoS、UNSW-NB 15、CICIDS-DDoSデータセットで評価されている。
  論文  参考訳（メタデータ） (2020-09-17T17:59:16Z)
• Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing [65.78881372074983]
  IoTデバイスは複雑なディープニューラルネットワーク(DNN)モデルにはほとんど余裕がなく、異常検出タスクをクラウドにオフロードすることは長い遅延を引き起こす。 本稿では,分散階層エッジコンピューティング(HEC)システムを対象とした適応型異常検出手法のデモと構築を行う。 提案手法は,検出タスクをクラウドにオフロードした場合と比較して,精度を犠牲にすることなく検出遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2020-04-15T06:13:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。