論文の概要: Activation Subspaces for Out-of-Distribution Detection
- arxiv url: http://arxiv.org/abs/2508.21695v1
- Date: Fri, 29 Aug 2025 15:03:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-01 19:45:11.089347
- Title: Activation Subspaces for Out-of-Distribution Detection
- Title（参考訳）: アウト・オブ・ディストリビューション検出のための活性化部分空間
- Authors: Barış Zöngür, Robin Hesse, Stefan Roth,
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出法は、トレーニング分布に近いサンプルを遠くのサンプルと区別することを目的としている。
分類ヘッドの重み行列の特異値分解を利用した新しいOOD検出法を提案する。
大規模分散シフトのレギュレーションにおける生のアクティベーションよりも, 重要成分のサブスペースが OOD データとIDをより効果的に区別できることが判明した。
- 参考スコア（独自算出の注目度）: 11.782674956998939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To ensure the reliability of deep models in real-world applications, out-of-distribution (OOD) detection methods aim to distinguish samples close to the training distribution (in-distribution, ID) from those farther away (OOD). In this work, we propose a novel OOD detection method that utilizes singular value decomposition of the weight matrix of the classification head to decompose the model's activations into decisive and insignificant components, which contribute maximally, respectively minimally, to the final classifier output. We find that the subspace of insignificant components more effectively distinguishes ID from OOD data than raw activations in regimes of large distribution shifts (Far-OOD). This occurs because the classification objective leaves the insignificant subspace largely unaffected, yielding features that are ''untainted'' by the target classification task. Conversely, in regimes of smaller distribution shifts (Near-OOD), we find that activation shaping methods profit from only considering the decisive subspace, as the insignificant component can cause interference in the activation space. By combining two findings into a single approach, termed ActSub, we achieve state-of-the-art results in various standard OOD benchmarks.
- Abstract（参考訳）: 現実世界の応用における深層モデルの信頼性を確保するため、アウト・オブ・ディストリビューション(OOD)検出法は、トレーニング分布(分布内ID)に近いサンプルを、遠くのサンプル(OOD)と区別することを目的としている。
本研究では,分類ヘッドの重み行列の特異値分解を利用した新しいOOD検出手法を提案する。
大規模分散シフトのレギュレーション(Far-OOD)において,非重要成分のサブスペースが,OODデータからIDをより効果的に識別できることが判明した。
これは、分類対象が重要でない部分空間にほとんど影響がなく、対象の分類タスクによって「不確定」な特徴が生じるためである。
逆に、より小さな分布シフトのレジーム(Near-OOD)では、重要成分が活性化空間の干渉を引き起こすため、活性化形成法は決定部分空間のみを考慮して利益を得る。
ActSubと呼ばれる2つの知見を1つのアプローチに組み合わせることで、様々な標準OODベンチマークで最先端の結果が得られます。
関連論文リスト
- Pseudo-label Induced Subspace Representation Learning for Robust Out-of-Distribution Detection [6.5679810906772325]
擬似ラベルによる部分空間表現に基づく新しいOOD検出フレームワークを提案する。
さらに,クロスエントロピーに基づくID分類損失と部分空間距離に基づく正規化損失を統合し,ID-OOD分離性を向上する単純な学習基準を導入する。
論文 参考訳（メタデータ） (2025-08-05T05:38:00Z) - Semantic or Covariate? A Study on the Intractable Case of Out-of-Distribution Detection [70.57120710151105]
ID分布のセマンティック空間をより正確に定義する。
また,OOD と ID の区別性を保証する "Tractable OOD" の設定も定義する。
論文 参考訳（メタデータ） (2024-11-18T03:09:39Z) - What If the Input is Expanded in OOD Detection? [77.37433624869857]
Out-of-distriion (OOD) 検出は未知のクラスからのOOD入力を特定することを目的としている。
In-distriion(ID)データと区別するために,様々なスコアリング関数を提案する。
入力空間に異なる共通の汚職を用いるという、新しい視点を導入する。
論文 参考訳（メタデータ） (2024-10-24T06:47:28Z) - Margin-bounded Confidence Scores for Out-of-Distribution Detection [2.373572816573706]
本稿では,非自明なOOD検出問題に対処するため,Margin bounded Confidence Scores (MaCS) と呼ばれる新しい手法を提案する。
MaCS は ID と OOD のスコアの差を拡大し、決定境界をよりコンパクトにする。
画像分類タスクのための様々なベンチマークデータセットの実験により,提案手法の有効性が示された。
論文 参考訳（メタデータ） (2024-09-22T05:40:25Z) - GROOD: Gradient-Aware Out-of-Distribution Detection [11.862922321532817]
現実世界のアプリケーションにおけるディープラーニングモデルの信頼性を確保するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。
In-distriion (ID) トレーニングデータから直接 OOD プロトタイプを抽出し,クラスプロトタイプを演算する GRADient-Aware Out-Of-Distribution Detection (GROOD) を提案する。
人工OODプロトタイプに関する最寄りのクラス-プロトタイプ損失関数の勾配を解析することにより,本手法は分布内とOOD試料の明確な分離を実現する。
論文 参考訳（メタデータ） (2023-12-22T04:28:43Z) - LINe: Out-of-Distribution Detection by Leveraging Important Neurons [15.797257361788812]
本稿では,分布内データとOODデータ間のモデル出力の差を解析するための新しい側面を紹介する。
本稿では,分布検出のポストホックアウトのための新しい手法であるLINe( Leveraging Important Neurons)を提案する。
論文 参考訳（メタデータ） (2023-03-24T13:49:05Z) - Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD
Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。
内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。
また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
論文 参考訳（メタデータ） (2022-06-20T16:32:49Z) - How to Exploit Hyperspherical Embeddings for Out-of-Distribution
Detection? [22.519572587827213]
CIDERは、OOD検出に超球面埋め込みを利用する表現学習フレームワークである。
CIDERは優れたパフォーマンスを確立し、FPR95では19.36%で最新のライバルを上回った。
論文 参考訳（メタデータ） (2022-03-08T23:44:01Z) - Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic
Uncertainty [58.144520501201995]
ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。
注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。
また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
論文 参考訳（メタデータ） (2021-10-12T22:04:19Z) - Triggering Failures: Out-Of-Distribution detection by learning from
local adversarial attacks in Semantic Segmentation [76.2621758731288]
セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。
私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。
3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
論文 参考訳（メタデータ） (2021-08-03T17:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。