論文の概要: Improving Autoencoder-based Outlier Detection with Adjustable
Probabilistic Reconstruction Error and Mean-shift Outlier Scoring
- arxiv url: http://arxiv.org/abs/2304.00709v1
- Date: Mon, 3 Apr 2023 04:01:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 16:45:04.532660
- Title: Improving Autoencoder-based Outlier Detection with Adjustable
Probabilistic Reconstruction Error and Mean-shift Outlier Scoring
- Title(参考訳): 調整可能な確率的再構成誤差と平均シフトアウトリアースコアを用いたオートエンコーダに基づくアウトリアー検出の改善
- Authors: Xu Tan, Jiawei Yang, Junqi Chen, Sylwan Rahardja, Susanto Rahardja
- Abstract要約: Probabilistic Reconstruction Error (PRE) と呼ばれる新しい損失関数を構築した。
平均シフト(MSS)に基づく概念的に新しい外れ値スコアリング法が提案され,オートエンコーダが原因で生じる誤逆値の低減が図られた。
MSSは、複数のオートエンコーダベースのアウトリア検出器の性能を平均20%改善した。
- 参考スコア(独自算出の注目度): 25.332050544526815
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoencoders were widely used in many machine learning tasks thanks to their
strong learning ability which has drawn great interest among researchers in the
field of outlier detection. However, conventional autoencoder-based methods
lacked considerations in two aspects. This limited their performance in outlier
detection. First, the mean squared error used in conventional autoencoders
ignored the judgment uncertainty of the autoencoder, which limited their
representation ability. Second, autoencoders suffered from the abnormal
reconstruction problem: some outliers can be unexpectedly reconstructed well,
making them difficult to identify from the inliers. To mitigate the
aforementioned issues, two novel methods were proposed in this paper. First, a
novel loss function named Probabilistic Reconstruction Error (PRE) was
constructed to factor in both reconstruction bias and judgment uncertainty. To
further control the trade-off of these two factors, two weights were introduced
in PRE producing Adjustable Probabilistic Reconstruction Error (APRE), which
benefited the outlier detection in different applications. Second, a
conceptually new outlier scoring method based on mean-shift (MSS) was proposed
to reduce the false inliers caused by the autoencoder. Experiments on 32
real-world outlier detection datasets proved the effectiveness of the proposed
methods. The combination of the proposed methods achieved 41% of the relative
performance improvement compared to the best baseline. The MSS improved the
performance of multiple autoencoder-based outlier detectors by an average of
20%. The proposed two methods have the potential to advance autoencoder's
development in outlier detection. The code is available on www.OutlierNet.com
for reproducibility.
- Abstract(参考訳): オートエンコーダは多くの機械学習タスクで、強力な学習能力のおかげで広く使われており、異常検出の分野で研究者の間で大きな関心を集めている。
しかし,従来のオートエンコーダ方式には2つの側面があった。
これにより、異常検出のパフォーマンスが制限された。
まず,従来のオートエンコーダにおける平均二乗誤差は,その表現能力を制限したオートエンコーダの判定の不確実性を無視した。
第2に、オートエンコーダは異常なリコンストラクション問題に苦しめられ、いくつかのアウトリアーは予期せぬほどうまく再構築され、インリアーからの識別が困難になる。
上記の問題を緩和するため,本論文では2つの新しい手法を提案する。
まず, 復元バイアスと判断不確実性の両方を考慮し, 確率的再構成誤差(pre)という新しい損失関数を構築した。
これら2つの因子のトレードオフをさらに制御するために、前生成型確率的再構成誤差(apre)において2つの重みが導入された。
第二に、平均シフト(MSS)に基づく概念的に新しい外れ値スコアリング法が提案され、オートエンコーダによって生じる誤りのインリエを低減する。
32個の実世界の外れ値検出データセットの実験により,提案手法の有効性が確認された。
提案手法の組み合わせは, 最良ベースラインと比較して, 性能向上率の41%を達成した。
MSSは複数のオートエンコーダベースのアウトリア検出器の性能を平均20%改善した。
提案する2つの手法は, 異常検出におけるオートエンコーダの開発を促進する可能性を秘めている。
コードはwww.outliernet.comで再現可能である。
関連論文リスト
- Refine, Discriminate and Align: Stealing Encoders via Sample-Wise
Prototypes and Multi-Relational Extraction [60.0276011074825]
RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。
これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。
より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
論文 参考訳(メタデータ) (2023-12-01T15:03:29Z) - Efficient Anomaly Detection with Budget Annotation Using Semi-Supervised
Residual Transformer [71.12751395582518]
異常検出は、通常、訓練中に通常のサンプルのみが見られ、検出器は飛行中の異常を検出する必要があるため、難しい。
最近提案されたディープラーニングベースのアプローチは、この問題を緩和する可能性があるが、実世界の応用のための産業レベルの異常検知器を得るには、まだまだ長い道のりがある。
論文 参考訳(メタデータ) (2023-06-06T08:19:30Z) - CoMadOut -- A Robust Outlier Detection Algorithm based on CoMAD [0.3823356975862006]
与えられたデータセット上の機械学習アルゴリズムの予測を歪める可能性があるため、アウトレーヤは重要な役割を果たす。
この問題に対処するために,ロバストな外乱検出アルゴリズムCoMadOutを提案する。
われわれの手法は、外乱検出タスクの堅牢な代替手段と見なすことができる。
論文 参考訳(メタデータ) (2022-11-23T21:33:34Z) - READ: Aggregating Reconstruction Error into Out-of-distribution
Detection [5.069442437365223]
ディープニューラルネットワークは異常なデータに対する過信であることが知られている。
本稿では,READ(Reconstruction Error Aggregated Detector)を提案する。
本手法は,従来のOOD検出アルゴリズムと比較して,FPR@95TPRの平均値を最大9.8%削減する。
論文 参考訳(メタデータ) (2022-06-15T11:30:41Z) - Efficient remedies for outlier detection with variational autoencoders [8.80692072928023]
深層生成モデルによって計算される類似度は、ラベルなしデータによる外れ値検出の候補メトリックである。
理論的に定位された補正は、VAE推定値による鍵バイアスを容易に改善することを示す。
また,VAEのアンサンブル上で計算される確率の分散により,ロバストな外乱検出が可能となることを示す。
論文 参考訳(メタデータ) (2021-08-19T16:00:58Z) - Probabilistic Outlier Detection and Generation [11.35109169978955]
Wasserstein 二重オートエンコーダは、インリエとアウトプライヤの検出と生成の両方に使用されます。
WALDOは、検出精度とロバスト性のために古典的なデータセットで評価される。
論文 参考訳(メタデータ) (2020-12-22T22:42:56Z) - ESAD: End-to-end Deep Semi-supervised Anomaly Detection [85.81138474858197]
正規データと異常データの間のKL偏差を計測する新たな目的関数を提案する。
提案手法は,複数のベンチマークデータセットの最先端性能を著しく上回っている。
論文 参考訳(メタデータ) (2020-12-09T08:16:35Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - Detecting Misclassification Errors in Neural Networks with a Gaussian
Process Model [20.948038514886377]
本稿では,誤分類誤りを検出するための定量的な尺度を新たに作成する枠組みを提案する。
このフレームワークREDは、ベース分類器の上にエラー検出器を構築し、ガウス過程を用いて検出スコアの不確かさを推定する。
論文 参考訳(メタデータ) (2020-10-05T15:01:30Z) - Pairwise Supervised Hashing with Bernoulli Variational Auto-Encoder and
Self-Control Gradient Estimator [62.26981903551382]
バイナリ潜在変数を持つ変分自動エンコーダ(VAE)は、文書検索の精度の観点から最先端のパフォーマンスを提供する。
本稿では、クラス内類似度とクラス間類似度に報いるために、個別潜伏型VAEを用いたペアワイズ損失関数を提案する。
この新しいセマンティックハッシュフレームワークは、最先端技術よりも優れたパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-05-21T06:11:33Z) - Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。
我々は,再建基準の代替として,異常スコアの代替尺度を提案した。
提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2020-03-24T08:26:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。