論文の概要: Kernel PCA for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2402.02949v1
- Date: Mon, 5 Feb 2024 12:21:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 16:21:53.214262
- Title: Kernel PCA for Out-of-Distribution Detection
- Title(参考訳): 分散検出のためのカーネルpca
- Authors: Kun Fang, Qinghua Tao, Kexin Lv, Mingzhen He, Xiaolin Huang and Jie
Yang
- Abstract要約: OoD検出のためのカーネルPCA (KPCA) は、OoDとInDの機能をかなり異なるパターンで割り当てる部分空間を求める。
我々は、KPCAの非線形カーネルを誘導する2つの特徴写像を考案し、主成分にまたがる部分空間におけるInDとOoDデータの分離性を提唱する。
- 参考スコア(独自算出の注目度): 28.075662493407187
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Out-of-Distribution (OoD) detection is vital for the reliability of Deep
Neural Networks (DNNs). Existing works have shown the insufficiency of
Principal Component Analysis (PCA) straightforwardly applied on the features of
DNNs in detecting OoD data from In-Distribution (InD) data. The failure of PCA
suggests that the network features residing in OoD and InD are not well
separated by simply proceeding in a linear subspace, which instead can be
resolved through proper nonlinear mappings. In this work, we leverage the
framework of Kernel PCA (KPCA) for OoD detection, seeking subspaces where OoD
and InD features are allocated with significantly different patterns. We devise
two feature mappings that induce non-linear kernels in KPCA to advocate the
separability between InD and OoD data in the subspace spanned by the principal
components. Given any test sample, the reconstruction error in such subspace is
then used to efficiently obtain the detection result with $\mathcal{O}(1)$ time
complexity in inference. Extensive empirical results on multiple OoD data sets
and network structures verify the superiority of our KPCA-based detector in
efficiency and efficacy with state-of-the-art OoD detection performances.
- Abstract(参考訳): OoD(Out-of-Distribution)検出はディープニューラルネットワーク(DNN)の信頼性に不可欠である。
In-Distribution(In-Distribution)データからOoDデータを検出する際,DNNの特徴にPCA(Principal Component Analysis)が直接適用されないことを示す。
PCAの失敗は、OoD と InD に居住するネットワーク機能は、単に線形部分空間で進行することで十分に分離されず、代わりに適切な非線形写像によって解決できることを示している。
本研究では,ood検出のためにkernel pca(kpca)のフレームワークを利用し,oodとindの特徴が著しく異なるパターンで割り当てられる部分空間を求める。
kpca における非線形カーネルを誘導する2つの特徴写像を考案し、主成分にまたがる部分空間における ind と ood データの分離性を提唱する。
テストサンプルが与えられた場合、そのような部分空間の再構成誤差は$\mathcal{O}(1)$Time complexity in inferenceで検出結果を効率的に得るために使用される。
複数のOoDデータセットとネットワーク構造に対する大規模な実験結果により、KPCAベースの検出器の効率性と有効性は最先端のOoD検出性能で検証できる。
関連論文リスト
- Small Object Detection via Coarse-to-fine Proposal Generation and
Imitation Learning [52.06176253457522]
本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。
CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-08-18T13:13:09Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳(メタデータ) (2023-02-06T16:38:43Z) - CAINNFlow: Convolutional block Attention modules and Invertible Neural
Networks Flow for anomaly detection and localization tasks [28.835943674247346]
本研究では, CBAMを組み込んだ複雑な関数モデルの設計を行い, 空間構造情報の保持と抽出を効果的に行うことができる。
CAINNFlowは,CNNとTransformerのバックボーンネットワークを特徴抽出器として,高度な精度と推論効率を実現する。
論文 参考訳(メタデータ) (2022-06-04T13:45:08Z) - coVariance Neural Networks [119.45320143101381]
グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。
我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。
VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
論文 参考訳(メタデータ) (2022-05-31T15:04:43Z) - How to Exploit Hyperspherical Embeddings for Out-of-Distribution
Detection? [22.519572587827213]
CIDERは、OOD検出に超球面埋め込みを利用する表現学習フレームワークである。
CIDERは優れたパフォーマンスを確立し、FPR95では19.36%で最新のライバルを上回った。
論文 参考訳(メタデータ) (2022-03-08T23:44:01Z) - DAAIN: Detection of Anomalous and Adversarial Input using Normalizing
Flows [52.31831255787147]
我々は、アウト・オブ・ディストリビューション(OOD)インプットと敵攻撃(AA)を検出する新しい手法であるDAINを導入する。
本手法は,ニューラルネットワークの内部動作を監視し,活性化分布の密度推定器を学習する。
当社のモデルは,特別なアクセラレータを必要とせずに,効率的な計算とデプロイが可能な単一のGPUでトレーニングすることが可能です。
論文 参考訳(メタデータ) (2021-05-30T22:07:13Z) - The Deep Radial Basis Function Data Descriptor (D-RBFDD) Network: A
One-Class Neural Network for Anomaly Detection [7.906608953906889]
異常検出は機械学習において難しい問題である。
放射状基底関数データ記述子(rbfdd)ネットワークは異常検出に有効なソリューションである。
本稿では,RBFDDネットワークを改良して深層一級分類器に変換する手法について検討する。
論文 参考訳(メタデータ) (2021-01-29T15:15:17Z) - Out-Of-Distribution Detection With Subspace Techniques And Probabilistic
Modeling Of Features [7.219077740523682]
本論文では,DNN(Deep Neural Network)におけるOOD(Out-of- Distributionion)サンプル検出の原理的手法を提案する。
深部特徴量に基づく確率分布のモデル化は,近年,DNNにおけるOODサンプルの検出方法として,効率的かつ安価に実現されている。
線形統計的次元還元法と非線形多様体学習法を高次元的特徴に適用し、その特徴にまたがる真の部分空間を捕捉する。
論文 参考訳(メタデータ) (2020-12-08T07:07:11Z) - NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。
既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。
本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
論文 参考訳(メタデータ) (2020-06-11T17:39:07Z) - Multi-Objective Variational Autoencoder: an Application for Smart
Infrastructure Maintenance [1.2311105789643062]
マルチウェイセンシングデータにおけるスマートインフラストラクチャ損傷検出と診断のための多目的変分オートエンコーダ(MVA)手法を提案する。
そこで本手法では,複数のセンサから情報的特徴を抽出し,損傷同定に活用する。
論文 参考訳(メタデータ) (2020-03-11T01:30:08Z) - Generalized ODIN: Detecting Out-of-distribution Image without Learning
from Out-of-distribution Data [87.61504710345528]
我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。
具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。
大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
論文 参考訳(メタデータ) (2020-02-26T04:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。