論文の概要: Estimating the Contamination Factor's Distribution in Unsupervised
Anomaly Detection
- arxiv url: http://arxiv.org/abs/2210.10487v1
- Date: Wed, 19 Oct 2022 11:51:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 13:27:43.822774
- Title: Estimating the Contamination Factor's Distribution in Unsupervised
Anomaly Detection
- Title(参考訳): 教師なし異常検出における汚染因子分布の推定
- Authors: Lorenzo Perini, Paul Buerkner and Arto Klami
- Abstract要約: 異常検出手法は、期待された振る舞いに従わない例を特定する。
異常として示される例の比率は、汚染因子と呼ばれる異常の予想割合と等しい。
ラベルのないデータセットの汚染係数の後方分布を推定する手法を提案する。
- 参考スコア(独自算出の注目度): 6.3596637237946725
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Anomaly detection methods identify examples that do not follow the expected
behaviour, typically in an unsupervised fashion, by assigning real-valued
anomaly scores to the examples based on various heuristics. These scores need
to be transformed into actual predictions by thresholding, so that the
proportion of examples marked as anomalies equals the expected proportion of
anomalies, called contamination factor. Unfortunately, there are no good
methods for estimating the contamination factor itself. We address this need
from a Bayesian perspective, introducing a method for estimating the posterior
distribution of the contamination factor of a given unlabeled dataset. We
leverage on outputs of several anomaly detectors as a representation that
already captures the basic notion of anomalousness and estimate the
contamination using a specific mixture formulation. Empirically on 22 datasets,
we show that the estimated distribution is well-calibrated and that setting the
threshold using the posterior mean improves the anomaly detectors' performance
over several alternative methods. All code is publicly available for full
reproducibility.
- Abstract(参考訳): 異常検出手法は、様々なヒューリスティックに基づいて実値の異常スコアをサンプルに割り当てることで、予測された振る舞いに従わない例を典型的には教師なしの方法で特定する。
これらのスコアはしきい値によって実際の予測に変換されなければならないので、異常としてマークされた例の比率は、汚染因子と呼ばれる異常の予想割合と等しい。
残念ながら、汚染因子自体を推定するための良い方法はない。
我々はベイズ的な観点からこのニーズに対処し、与えられた未ラベルデータセットの汚染係数の後方分布を推定する手法を導入する。
複数の異常検出器の出力を、既に異常性の基本的な概念を捉え、特定の混合式を用いて汚染を推定する表現として活用する。
22のデータセットにおいて,推定分布が十分に調整され,後方平均を用いたしきい値の設定により,いくつかの代替法において異常検出器の性能が向上することを示す。
すべてのコードは、完全な再現性で公開されています。
関連論文リスト
- Adaptive Deviation Learning for Visual Anomaly Detection with Data Contamination [20.4008901760593]
そこで本研究では,偏差学習を応用して,異常スコアをエンドツーエンドに計算する手法を提案する。
提案手法は競合する手法を超越し,データ汚染の存在下での安定性とロバスト性を示す。
論文 参考訳(メタデータ) (2024-11-14T16:10:15Z) - Label Shift Estimators for Non-Ignorable Missing Data [2.605549784939959]
ランダム変数 Y の平均を非無視的欠損(すなわち、不足メカニズムが Y に依存する場合)で推定する問題を考察する。
当社のアプローチは、無視できないアプローチと無視できないアプローチを比較して、大規模な健康調査を用いて、病気の有病率を推定するために使用します。
論文 参考訳(メタデータ) (2023-10-27T16:50:13Z) - An Iterative Method for Unsupervised Robust Anomaly Detection Under Data
Contamination [24.74938110451834]
ほとんどの深層異常検出モデルは、データセットから正規性を学ぶことに基づいている。
実際、正規性仮定は実データ分布の性質によってしばしば破られる。
このギャップを減らし、より優れた正規性表現を実現するための学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-18T02:36:19Z) - On Tail Decay Rate Estimation of Loss Function Distributions [5.33024001730262]
我々は辺分布の尾部を推定する新しい理論を開発した。
一定の規則性条件下では、境界分布の形状パラメータは条件分布の族における最大尾形パラメータであることを示す。
論文 参考訳(メタデータ) (2023-06-05T11:58:25Z) - Explainable Deep Few-shot Anomaly Detection with Deviation Networks [123.46611927225963]
本稿では,弱い教師付き異常検出フレームワークを導入し,検出モデルを訓練する。
提案手法は,ラベル付き異常と事前確率を活用することにより,識別正規性を学習する。
我々のモデルはサンプル効率が高く頑健であり、クローズドセットとオープンセットの両方の設定において最先端の競合手法よりもはるかに優れている。
論文 参考訳(メタデータ) (2021-08-01T14:33:17Z) - The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。
本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
論文 参考訳(メタデータ) (2020-12-05T17:30:35Z) - Tracking disease outbreaks from sparse data with Bayesian inference [55.82986443159948]
新型コロナウイルス(COVID-19)のパンデミックは、感染発生時の感染率を推定する新たな動機を与える。
標準的な手法は、より細かいスケールで共通する部分的な観測可能性とスパースなデータに対応するのに苦労する。
原理的に部分観測可能なベイズ的枠組みを提案する。
論文 参考訳(メタデータ) (2020-09-12T20:37:33Z) - Estimation of Classification Rules from Partially Classified Data [0.9137554315375919]
本研究は, 試料に起源のクラスが知られている観察結果と, 試料中の残りの観察結果が未分類である状況について考察する。
未知パラメータのベクトルまで既知のクラス条件分布の場合、次の未分類観測の割り当てに対するベイズの割り当て規則を推定することが目的である。
論文 参考訳(メタデータ) (2020-04-13T23:35:25Z) - Batch Stationary Distribution Estimation [98.18201132095066]
サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。
与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
論文 参考訳(メタデータ) (2020-03-02T09:10:01Z) - Estimating Gradients for Discrete Random Variables by Sampling without
Replacement [93.09326095997336]
我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。
推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
論文 参考訳(メタデータ) (2020-02-14T14:15:18Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。