論文の概要: Kernel PCA for Out-of-Distribution Detection

• arxiv url: http://arxiv.org/abs/2402.02949v1
• Date: Mon, 5 Feb 2024 12:21:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 16:21:53.214262
• Title: Kernel PCA for Out-of-Distribution Detection
• Title（参考訳）: 分散検出のためのカーネルpca
• Authors: Kun Fang, Qinghua Tao, Kexin Lv, Mingzhen He, Xiaolin Huang and Jie Yang
• Abstract要約: OoD検出のためのカーネルPCA (KPCA) は、OoDとInDの機能をかなり異なるパターンで割り当てる部分空間を求める。 我々は、KPCAの非線形カーネルを誘導する2つの特徴写像を考案し、主成分にまたがる部分空間におけるInDとOoDデータの分離性を提唱する。
• 参考スコア（独自算出の注目度）: 28.075662493407187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-Distribution (OoD) detection is vital for the reliability of Deep Neural Networks (DNNs). Existing works have shown the insufficiency of Principal Component Analysis (PCA) straightforwardly applied on the features of DNNs in detecting OoD data from In-Distribution (InD) data. The failure of PCA suggests that the network features residing in OoD and InD are not well separated by simply proceeding in a linear subspace, which instead can be resolved through proper nonlinear mappings. In this work, we leverage the framework of Kernel PCA (KPCA) for OoD detection, seeking subspaces where OoD and InD features are allocated with significantly different patterns. We devise two feature mappings that induce non-linear kernels in KPCA to advocate the separability between InD and OoD data in the subspace spanned by the principal components. Given any test sample, the reconstruction error in such subspace is then used to efficiently obtain the detection result with $\mathcal{O}(1)$ time complexity in inference. Extensive empirical results on multiple OoD data sets and network structures verify the superiority of our KPCA-based detector in efficiency and efficacy with state-of-the-art OoD detection performances.
• Abstract（参考訳）: OoD(Out-of-Distribution)検出はディープニューラルネットワーク(DNN)の信頼性に不可欠である。 In-Distribution(In-Distribution)データからOoDデータを検出する際,DNNの特徴にPCA(Principal Component Analysis)が直接適用されないことを示す。 PCAの失敗は、OoD と InD に居住するネットワーク機能は、単に線形部分空間で進行することで十分に分離されず、代わりに適切な非線形写像によって解決できることを示している。 本研究では,ood検出のためにkernel pca(kpca)のフレームワークを利用し,oodとindの特徴が著しく異なるパターンで割り当てられる部分空間を求める。 kpca における非線形カーネルを誘導する2つの特徴写像を考案し、主成分にまたがる部分空間における ind と ood データの分離性を提唱する。 テストサンプルが与えられた場合、そのような部分空間の再構成誤差は$\mathcal{O}(1)$Time complexity in inferenceで検出結果を効率的に得るために使用される。 複数のOoDデータセットとネットワーク構造に対する大規模な実験結果により、KPCAベースの検出器の効率性と有効性は最先端のOoD検出性能で検証できる。

関連論文リスト

• Pursuing Feature Separation based on Neural Collapse for Out-of-Distribution Detection [21.357620914949624]
  オープンな世界では、ラベルが分布内(ID)サンプルと相容れないOOD(out-of-distriion)データを検出することは、信頼できるディープニューラルネットワーク(DNN)にとって重要である。 我々はOrthLossと呼ばれるシンプルだが効果的な損失を提案し、これはサブ空間内のOODデータの特徴をNCによって形成されたID特徴の主部分空間に結合する。 我々の検出は、追加のデータ拡張やサンプリングなしに、CIFARベンチマーク上でのSOTA性能を達成する。
  論文  参考訳（メタデータ） (2024-05-28T04:24:38Z)
• Small Object Detection via Coarse-to-fine Proposal Generation and Imitation Learning [52.06176253457522]
  本稿では,粗粒度パイプラインと特徴模倣学習に基づく小型物体検出に適した2段階フレームワークを提案する。 CFINetは、大規模な小さなオブジェクト検出ベンチマークであるSODA-DとSODA-Aで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-18T13:13:09Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• coVariance Neural Networks [119.45320143101381]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データ内の相互関係を利用して学習する効果的なフレームワークである。 我々は、サンプル共分散行列をグラフとして扱う、共分散ニューラルネットワーク(VNN)と呼ばれるGNNアーキテクチャを提案する。 VNN の性能は PCA ベースの統計手法よりも安定していることを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:04:43Z)
• How to Exploit Hyperspherical Embeddings for Out-of-Distribution Detection? [22.519572587827213]
  CIDERは、OOD検出に超球面埋め込みを利用する表現学習フレームワークである。 CIDERは優れたパフォーマンスを確立し、FPR95では19.36%で最新のライバルを上回った。
  論文  参考訳（メタデータ） (2022-03-08T23:44:01Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Sketching Curvature for Efficient Out-of-Distribution Detection for Deep Neural Networks [32.629801680158685]
  Sketching Curvature of OoD Detection (SCOD)は、訓練されたディープニューラルネットワークにタスク関連不確実性推定を装備するためのアーキテクチャに依存しないフレームワークである。 SCODは,既存のベースラインと比較して計算負担の少ないOoD検出性能の同等あるいは優れたOoD検出性能を達成できることを実証する。
  論文  参考訳（メタデータ） (2021-02-24T21:34:40Z)
• NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
  機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。 既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。 本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
  論文  参考訳（メタデータ） (2020-06-11T17:39:07Z)
• Multi-Objective Variational Autoencoder: an Application for Smart Infrastructure Maintenance [1.2311105789643062]
  マルチウェイセンシングデータにおけるスマートインフラストラクチャ損傷検出と診断のための多目的変分オートエンコーダ(MVA)手法を提案する。 そこで本手法では,複数のセンサから情報的特徴を抽出し,損傷同定に活用する。
  論文  参考訳（メタデータ） (2020-03-11T01:30:08Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。