論文の概要: Interpretable Anomaly Detection with Mondrian P{\'o}lya Forests on Data
Streams
- arxiv url: http://arxiv.org/abs/2008.01505v1
- Date: Tue, 4 Aug 2020 13:19:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 23:30:02.219809
- Title: Interpretable Anomaly Detection with Mondrian P{\'o}lya Forests on Data
Streams
- Title(参考訳): データストリーム上でのmondrian p{\o}lya林による解釈可能な異常検出
- Authors: Charlie Dickens, Eric Meissner, Pablo G. Moreno, Tom Diethe
- Abstract要約: スケールでの異常検出は、非常に困難な実用性の問題である。
最近の研究は、異常検出のためのデータを要約するために、(ランダムな)$k$emphd-treesのバリエーションを合体させてきた。
これらの手法は、容易に解釈できないアドホックスコア関数に依存している。
我々はこれらの手法をモンドリアンポリアフォレストと呼ぶ確率的枠組みでコンテキスト化する。
- 参考スコア(独自算出の注目度): 6.177270420667713
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Anomaly detection at scale is an extremely challenging problem of great
practicality. When data is large and high-dimensional, it can be difficult to
detect which observations do not fit the expected behaviour. Recent work has
coalesced on variations of (random) $k$\emph{d-trees} to summarise data for
anomaly detection. However, these methods rely on ad-hoc score functions that
are not easy to interpret, making it difficult to asses the severity of the
detected anomalies or select a reasonable threshold in the absence of labelled
anomalies. To solve these issues, we contextualise these methods in a
probabilistic framework which we call the Mondrian \Polya{} Forest for
estimating the underlying probability density function generating the data and
enabling greater interpretability than prior work. In addition, we develop a
memory efficient variant able to operate in the modern streaming environments.
Our experiments show that these methods achieves state-of-the-art performance
while providing statistically interpretable anomaly scores.
- Abstract(参考訳): スケールでの異常検出は、非常に困難な実用性の問題である。
データが大規模で高次元の場合には、どの観測が期待された行動に合っていないかを検出するのは難しい。
最近の研究は、異常検出のためのデータを要約する(ランダム)$k$\emph{d-trees} のバリエーションを合体させてきた。
しかし、これらの方法は解釈が容易でないアドホックスコア関数に依存しており、検出された異常の重大度を判断したり、ラベル付き異常がない場合に妥当なしきい値を選択することが困難である。
これらの問題を解決するために,これらの手法をmondrian \polya{} forestと呼ぶ確率的枠組みで文脈化し,データ生成の基盤となる確率密度関数を推定し,先行研究よりも高い解釈可能性を実現する。
さらに,現代的なストリーミング環境で動作可能なメモリ効率のよい変種を開発した。
実験では, 統計的に解釈可能な異常スコアを提供しながら, 最先端のパフォーマンスを実現することを示す。
関連論文リスト
- TabADM: Unsupervised Tabular Anomaly Detection with Diffusion Models [5.314466196448187]
本稿では,非教師付き異常検出に有効な拡散型確率モデルを提案する。
本モデルは, 特異な拒絶手法を用いて, サンプルの密度を学習するよう訓練されている。
低密度領域のサンプルとして異常を同定する。
論文 参考訳(メタデータ) (2023-07-23T14:02:33Z) - Augment to Detect Anomalies with Continuous Labelling [10.646747658653785]
異常検出は、トレーニング観察と何らかの点で異なるサンプルを認識することである。
最近の最先端のディープラーニングに基づく異常検出手法は、計算コスト、複雑さ、不安定な訓練手順、非自明な実装に悩まされている。
我々は、軽量な畳み込みニューラルネットワークを訓練し、異常検出における最先端の性能に到達するための単純な学習手順を活用する。
論文 参考訳(メタデータ) (2022-07-03T20:11:51Z) - MissDAG: Causal Discovery in the Presence of Missing Data with
Continuous Additive Noise Models [78.72682320019737]
不完全な観測データから因果発見を行うため,MissDAGと呼ばれる一般的な手法を開発した。
MissDAGは、期待-最大化の枠組みの下で観測の可視部分の期待される可能性を最大化する。
各種因果探索アルゴリズムを組み込んだMissDAGの柔軟性について,広範囲なシミュレーションと実データ実験により検証した。
論文 参考訳(メタデータ) (2022-05-27T09:59:46Z) - SLA$^2$P: Self-supervised Anomaly Detection with Adversarial
Perturbation [77.71161225100927]
異常検出は、機械学習の基本的な問題であるが、難しい問題である。
本稿では,非教師付き異常検出のための新しい強力なフレームワークであるSLA$2$Pを提案する。
論文 参考訳(メタデータ) (2021-11-25T03:53:43Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳(メタデータ) (2021-08-01T14:33:17Z) - An algorithm-based multiple detection influence measure for high
dimensional regression using expectile [0.4999814847776096]
本稿では,アルゴリズムに基づく多段階多重検出手法を提案する。
データ中の望ましくない変数を識別し、キャプチャする3ステップのアルゴリズムである$asymMIP,$は2つの相補的な統計に基づく。
自閉症脳画像データ交換データセットへの本手法の適用により,脳の成熟度をよりバランスよく正確に予測することができた。
論文 参考訳(メタデータ) (2021-05-26T01:16:24Z) - Deconfounded Score Method: Scoring DAGs with Dense Unobserved
Confounding [101.35070661471124]
本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。
汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-28T11:07:59Z) - Low-rank on Graphs plus Temporally Smooth Sparse Decomposition for
Anomaly Detection in Spatiotemporal Data [37.65687661747699]
本稿では,非教師付きテンソルに基づく異常検出手法を提案する。
結果として生じる最適化問題は凸性があり、スケーラブルであり、欠落したデータやノイズに対して堅牢であることが示されている。
論文 参考訳(メタデータ) (2020-10-23T19:34:40Z) - Toward Deep Supervised Anomaly Detection: Reinforcement Learning from
Partially Labeled Anomaly Data [150.9270911031327]
本稿では,一部のラベル付き異常事例と大規模ラベルなしデータセットを用いた異常検出の問題点について考察する。
既存の関連手法は、通常、一連の異常にまたがらない限られた異常例にのみ適合するか、ラベルのないデータから教師なしの学習を進めるかのいずれかである。
そこで本研究では,ラベル付きおよびラベルなし両方の異常の検出をエンドツーエンドに最適化する,深層強化学習に基づくアプローチを提案する。
論文 参考訳(メタデータ) (2020-09-15T03:05:39Z) - Overcoming the curse of dimensionality with Laplacian regularization in
semi-supervised learning [80.20302993614594]
ラプラシア正規化の欠点を克服するための統計的解析を提供する。
望ましい振る舞いを示すスペクトルフィルタリング法を多数発表する。
我々は,本手法を大量のデータで利用できるようにするために,現実的な計算ガイドラインを提供する。
論文 参考訳(メタデータ) (2020-09-09T14:28:54Z) - Anomaly Detection in Trajectory Data with Normalizing Flows [0.0]
本稿では,ニューラルネットワークを用いたデータから複雑な密度推定を可能にする,正規化フローに基づく手法を提案する。
提案手法は, 軌道の各セグメントに対して, 流れを正規化する重要な特徴である, 正確なモデル確率値を算出する。
実世界の軌道データを用いて, 正規化フローを用いた集約異常検出法(GRADINGS)を評価し, 従来の異常検出法と比較した。
論文 参考訳(メタデータ) (2020-04-13T14:16:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。