論文の概要: Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selections and Approximations

• arxiv url: http://arxiv.org/abs/2505.15284v1
• Date: Wed, 21 May 2025 09:06:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.407323
• Title: Kernel PCA for Out-of-Distribution Detection: Non-Linear Kernel Selections and Approximations
• Title（参考訳）: 外部分布検出のためのカーネルPCA:非線形カーネル選択と近似
• Authors: Kun Fang, Qinghua Tao, Mingzhen He, Kexin Lv, Runze Yang, Haibo Hu, Xiaolin Huang, Jie Yang, Longbin Cao,
• Abstract要約: OoD(Out-of-Distribution)検出は、ディープニューラルネットワークの信頼性に不可欠である。 本研究では,OoDとIn-Distribution(In-Distribution,In-Distribution,InD)データの相違を,非線形特徴部分空間の新たな視点を通じて活用する。 我々は、カーネル主成分分析(KPCA)のフレームワークを活用して、識別非線形部分空間を実現する。
• 参考スコア（独自算出の注目度）: 25.028842299572833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Out-of-Distribution (OoD) detection is vital for the reliability of deep neural networks, the key of which lies in effectively characterizing the disparities between OoD and In-Distribution (InD) data. In this work, such disparities are exploited through a fresh perspective of non-linear feature subspace. That is, a discriminative non-linear subspace is learned from InD features to capture representative patterns of InD, while informative patterns of OoD features cannot be well captured in such a subspace due to their different distribution. Grounded on this perspective, we exploit the deviations of InD and OoD features in such a non-linear subspace for effective OoD detection. To be specific, we leverage the framework of Kernel Principal Component Analysis (KPCA) to attain the discriminative non-linear subspace and deploy the reconstruction error on such subspace to distinguish InD and OoD data. Two challenges emerge: (i) the learning of an effective non-linear subspace, i.e., the selection of kernel function in KPCA, and (ii) the computation of the kernel matrix with large-scale InD data. For the former, we reveal two vital non-linear patterns that closely relate to the InD-OoD disparity, leading to the establishment of a Cosine-Gaussian kernel for constructing the subspace. For the latter, we introduce two techniques to approximate the Cosine-Gaussian kernel with significantly cheap computations. In particular, our approximation is further tailored by incorporating the InD data confidence, which is demonstrated to promote the learning of discriminative subspaces for OoD data. Our study presents new insights into the non-linear feature subspace for OoD detection and contributes practical explorations on the associated kernel design and efficient computations, yielding a KPCA detection method with distinctively improved efficacy and efficiency.
• Abstract（参考訳）: OoD(Out-of-Distribution)検出は、OoDとIn-Distribution(In-Distribution)データの差異を効果的に特徴づける上で、ディープニューラルネットワークの信頼性に不可欠である。 この研究は、非線形特徴部分空間の新たな視点を通して、そのような格差を生かしている。 すなわち、識別非線形部分空間はInD特徴から学習してInDの代表的なパターンを捉えるが、OoD特徴の情報的パターンは分布が異なるため、そのような部分空間ではうまく捉えられない。 この観点から, 非線形部分空間におけるInDおよびOoD特徴の偏差を有効OoD検出に活用する。 具体的には、カーネル主成分分析(KPCA)のフレームワークを活用して、識別非線形部分空間を実現し、その部分空間に再構成エラーを配置し、InDデータとOoDデータを区別する。 2つの課題が浮かび上がる。 i) 有効非線形部分空間、すなわちKPCAにおけるカーネル関数の選択の学習 (II)大規模InDデータを用いたカーネル行列の計算 前者に対しては、InD-OoDの相違に密接に関係する2つの重要な非線形パターンを明らかにし、部分空間を構築するためのCosine-Gaussianカーネルの確立に繋がる。 後者では、Cosine-Gaussianカーネルをかなり安価な計算で近似する2つの手法を導入する。 特に,OoDデータに対する識別的部分空間の学習を促進するために,InDデータ信頼性を取り入れることで,近似をさらに調整する。 本研究は,OoD検出のための非線形特徴部分空間に関する新たな知見を提示し,関連するカーネル設計と効率的な計算の実践的な探索に寄与し,KPCA検出法を顕著に改善した。

関連論文リスト

• Towards Robust Nonlinear Subspace Clustering: A Kernel Learning Approach [6.4314326272535896]
  カーネルベースのサブスペースクラスタリングはデータの非線形構造に対処する。 本稿では、カーネル誘起非線形サブスペースクラスタリングのための新しいパラダイムであるDKLMを提案する。
  論文  参考訳（メタデータ） (2025-01-10T22:41:02Z)
• Kernel PCA for Out-of-Distribution Detection [26.49607709559048]
  ディープニューラルネットワーク(DNN)の信頼性には,アウト・オブ・ディストリビューション(OoD)検出が不可欠である 我々は、OoD検出にKernel PCA(KPCA)のフレームワークを活用し、主成分が分散する部分空間におけるInDとOoDデータの分離性を主張する適切な非線形カーネルを求める。
  論文  参考訳（メタデータ） (2024-02-05T12:21:16Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Intrinsic dimension estimation for discrete metrics [65.5438227932088]
  本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。 我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。 このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
  論文  参考訳（メタデータ） (2022-07-20T06:38:36Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。