論文の概要: The Importance of Suppressing Complete Reconstruction in Autoencoders
for Unsupervised Outlier Detection
- arxiv url: http://arxiv.org/abs/2211.03054v1
- Date: Sun, 6 Nov 2022 07:56:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 16:01:21.064245
- Title: The Importance of Suppressing Complete Reconstruction in Autoencoders
for Unsupervised Outlier Detection
- Title(参考訳): 教師なし外乱検出のためのオートエンコーダにおける完全再構成抑制の重要性
- Authors: Yafei Shen, Ling Yang
- Abstract要約: レグレッション解析では、通常、外れ値は通常高レバレッジ点と影響点に分けられる。
ほとんどの異常値は、最悪の回復主成分に対応する方向で検出されるが、よく回収された主成分の方向では、しばしば無視される。
本稿では,外乱検出における上記の欠陥を解消する新たな損失関数を提案する。
- 参考スコア(独自算出の注目度): 2.089792514720233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoencoders are widely used in outlier detection due to their superiority in
handling high-dimensional and nonlinear datasets. The reconstruction of any
dataset by the autoencoder can be considered as a complex regression process.
In regression analysis, outliers can usually be divided into high leverage
points and influential points. Although the autoencoder has shown good results
for the identification of influential points, there are still some problems
when detect high leverage points. Through theoretical derivation, we found that
most outliers are detected in the direction corresponding to the
worst-recovered principal component, but in the direction of the well-recovered
principal components, the anomalies are often ignored. We propose a new loss
function which solve the above deficiencies in outlier detection. The core idea
of our scheme is that in order to better detect high leverage points, we should
suppress the complete reconstruction of the dataset to convert high leverage
points into influential points, and it is also necessary to ensure that the
differences between the eigenvalues of the covariance matrix of the original
dataset and their corresponding reconstructed results in the direction of each
principal component are equal. Besides, we explain the rationality of our
scheme through rigorous theoretical derivation. Finally, our experiments on
multiple datasets confirm that our scheme significantly improves the accuracy
of outlier detection.
- Abstract(参考訳): オートエンコーダは、高次元および非線形データセットの処理が優れているため、異常検出に広く使われている。
オートエンコーダによる任意のデータセットの再構成は、複雑な回帰過程と見なすことができる。
回帰分析では、外れ値は通常高いレバレッジ点と影響点に分けられる。
オートエンコーダは影響力点の同定に優れた結果を示したが、高いレバレッジ点の検出にはいくつかの問題がある。
理論的導出により, 最悪の主成分に対応する方向にほとんどの異常値が検出されることがわかったが, 良く回収された主成分の方向には, しばしば異常が無視される。
本稿では,上記の異常検出の欠陥を解決する新しい損失関数を提案する。
提案手法の核となる考え方は,高レバレッジ点をよりよく検出するためには,高レバレッジ点を影響力点に変換するためにデータセットの完全な再構築を抑制することであり,また,元のデータセットの共分散行列の固有値とそれに対応する各主成分の方向の再構成結果との差が等しくなることを保証する必要がある。
さらに、厳密な理論的導出を通して、我々の計画の合理性を説明する。
最後に,複数のデータセットに対する実験により,外乱検出の精度を大幅に向上させることを確認した。
関連論文リスト
- Posterior Consistency for Missing Data in Variational Autoencoders [11.18081298867526]
本稿では,データから変分オートエンコーダ(VAE)を学習する際の問題点について考察する。
本稿では,この整合性を促進するエンコーダの後部分布の正規化手法を提案する。
この改良された性能は、正規化フローを備えたVAEを含む多くのVAEのクラスで観測できる。
論文 参考訳(メタデータ) (2023-10-25T13:56:02Z) - Self-Supervised Graph Transformer for Deepfake Detection [1.8133635752982105]
ディープフェイク検出手法は、与えられたデータセット内の偽造を認識できる有望な結果を示している。
ディープフェイク検出システムは、一般的な検出性能を保証するために、偽造タイプ、外観、品質に欠かせないままでいなければならない。
本研究では、自己教師付き事前学習モデルを利用して、例外的な一般化能力を実現するディープフェイク検出フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-27T17:22:41Z) - Improving Autoencoder-based Outlier Detection with Adjustable
Probabilistic Reconstruction Error and Mean-shift Outlier Scoring [25.332050544526815]
Probabilistic Reconstruction Error (PRE) と呼ばれる新しい損失関数を構築した。
平均シフト(MSS)に基づく概念的に新しい外れ値スコアリング法が提案され,オートエンコーダが原因で生じる誤逆値の低減が図られた。
MSSは、複数のオートエンコーダベースのアウトリア検出器の性能を平均20%改善した。
論文 参考訳(メタデータ) (2023-04-03T04:01:29Z) - Mind the Backbone: Minimizing Backbone Distortion for Robust Object
Detection [52.355018626115346]
ドメインシフトに対して堅牢なオブジェクト検出器を構築することは、現実世界のアプリケーションにとって重要なことです。
我々は,ゆがみを特徴付けるバックボーンの脆弱性を測定する手段として,相対勾配ノルム(Relative Gradient Norm)を提案する。
両バックボーンのOOD堅牢性を高めるためのレシピを提案する。
論文 参考訳(メタデータ) (2023-03-26T14:50:43Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-06T14:49:59Z) - Improving Out-of-Distribution Generalization of Neural Rerankers with
Contextualized Late Interaction [52.63663547523033]
マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。
異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
論文 参考訳(メタデータ) (2023-02-13T18:42:17Z) - ARES: Locally Adaptive Reconstruction-based Anomaly Scoring [25.707159917988733]
本研究では, 異常スコアリング関数が, 正常サンプルの範囲にわたる復元誤差の自然な変動に適応しないことを示す。
本稿では,適応的再構成誤りに基づくスコーリング手法を提案する。
論文 参考訳(メタデータ) (2022-06-15T15:35:12Z) - READ: Aggregating Reconstruction Error into Out-of-distribution
Detection [5.069442437365223]
ディープニューラルネットワークは異常なデータに対する過信であることが知られている。
本稿では,READ(Reconstruction Error Aggregated Detector)を提案する。
本手法は,従来のOOD検出アルゴリズムと比較して,FPR@95TPRの平均値を最大9.8%削減する。
論文 参考訳(メタデータ) (2022-06-15T11:30:41Z) - Learning High-Precision Bounding Box for Rotated Object Detection via
Kullback-Leibler Divergence [100.6913091147422]
既存の回転物体検出器は、主に水平検出パラダイムから受け継がれている。
本稿では,回転回帰損失の設計を帰納パラダイムから導出手法に変更することを目的としている。
論文 参考訳(メタデータ) (2021-06-03T14:29:19Z) - Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature
Selection [138.97647716793333]
再構成誤差を$l_2,p$ノルム正規化と組み合わせることで,単純かつ効率的な特徴選択手法を提案する。
提案する非教師付きモデルを解くための効率的な最適化アルゴリズムを提案し,アルゴリズムの収束と計算の複雑さを理論的に解析する。
論文 参考訳(メタデータ) (2020-12-29T04:08:38Z) - ESAD: End-to-end Deep Semi-supervised Anomaly Detection [85.81138474858197]
正規データと異常データの間のKL偏差を計測する新たな目的関数を提案する。
提案手法は,複数のベンチマークデータセットの最先端性能を著しく上回っている。
論文 参考訳(メタデータ) (2020-12-09T08:16:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。