論文の概要: Detecting Out-of-Distribution Through the Lens of Neural Collapse
- arxiv url: http://arxiv.org/abs/2311.01479v2
- Date: Tue, 7 Nov 2023 01:40:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 22:09:41.903033
- Title: Detecting Out-of-Distribution Through the Lens of Neural Collapse
- Title(参考訳): 神経崩壊のレンズによるアウトオブディストリビューションの検出
- Authors: Litian Liu, Yao Qin
- Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、AIの安全なデプロイに不可欠である。
我々は、Neural Collapse inspired OOD detector (NC-OOD)と呼ばれる高度に多用途なOOD検出器を導入する。
我々は、OODの特徴が遠くにあるのに対して、ID(In-distriion)特徴がクラスタを形成する傾向にあるという一般的な観察を拡張した。
- 参考スコア(独自算出の注目度): 8.324938763661295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Out-of-distribution (OOD) detection is essential for the safe deployment of
AI. Particularly, OOD detectors should generalize effectively across diverse
scenarios. To improve upon the generalizability of existing OOD detectors, we
introduce a highly versatile OOD detector, called Neural Collapse inspired OOD
detector (NC-OOD). We extend the prevalent observation that in-distribution
(ID) features tend to form clusters, whereas OOD features are far away.
Particularly, based on the recent observation, Neural Collapse, we further
demonstrate that ID features tend to cluster in proximity to weight vectors.
From our extended observation, we propose to detect OOD based on feature
proximity to weight vectors. To further rule out OOD samples, we leverage the
observation that OOD features tend to reside closer to the origin than ID
features. Extensive experiments show that our approach enhances the
generalizability of existing work and can consistently achieve state-of-the-art
OOD detection performance across a wide range of OOD Benchmarks over different
classification tasks, training losses, and model architectures.
- Abstract(参考訳): アウト・オブ・ディストリビューション(OOD)検出は、AIの安全なデプロイに不可欠である。
特に、OOD検出器は様々なシナリオで効果的に一般化されるべきである。
既存のOOD検出器の一般化性を改善するために,Neural Collapse inspired OOD detector (NC-OOD) と呼ばれる多機能なOOD検出器を導入する。
我々は、OOD特徴が遠くにあるのに対して、ID特徴がクラスターを形成する傾向にあるという一般的な観察を拡張した。
特に、最近のニューラル・コラプス(Neural Collapse)の観測から、ID特徴が重みベクトルに近接する傾向にあることを示す。
拡張観測から,重みベクトルに近接する特徴量に基づいてOODを検出することを提案する。
さらにOODのサンプルを除外するために、OODの特徴がIDの特徴よりも起源に近い傾向にあるという観察を活用する。
大規模な実験により,本手法は既存の作業の一般化可能性を高め,様々な分類タスク,トレーニング損失,モデルアーキテクチャに対して,幅広いOODベンチマークの最先端OOD検出性能を一貫して達成できることが示されている。
関連論文リスト
- Exploring Large Language Models for Multi-Modal Out-of-Distribution
Detection [67.68030805755679]
大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。
本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
論文 参考訳(メタデータ) (2023-10-12T04:14:28Z) - General-Purpose Multi-Modal OOD Detection Framework [5.287829685181842]
アウト・オブ・ディストリビューション(OOD)検出は、機械学習(ML)システムの安全性と信頼性を保証するために重要なトレーニングデータとは異なるテストサンプルを特定する。
本稿では,2値分類器とコントラスト学習コンポーネントを組み合わせた,汎用的な弱教師付きOOD検出フレームワークWOODを提案する。
提案したWOODモデルを複数の実世界のデータセット上で評価し、実験結果により、WOODモデルがマルチモーダルOOD検出の最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-24T18:50:49Z) - OpenOOD v1.5: Enhanced Benchmark for Out-of-Distribution Detection [81.25718226042832]
アウト・オブ・ディストリビューション(OOD)検出は、オープンワールド・インテリジェントシステムの信頼性の高い運用に不可欠である。
本稿では,OOD検出手法の精度,標準化,ユーザフレンドリな評価を保証したOpenOOD v1.5を提案する。
論文 参考訳(メタデータ) (2023-06-15T17:28:00Z) - Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is
All You Need [52.88953913542445]
簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。
我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
論文 参考訳(メタデータ) (2023-02-06T08:24:41Z) - Pseudo-OOD training for robust language models [78.15712542481859]
OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。
In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。
我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
論文 参考訳(メタデータ) (2022-10-17T14:32:02Z) - On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution
Detection [7.221206118679026]
ディープラーニングの安全性クリティカルな応用において、OOD(Out-of-Distribution)データを検出する能力が重要である。
この文献の既存の直観は、ディープ・アンサンブルの予測の多様性は分布シフトを示しているということである。
ImageNet-scale OOD 検出では,この直観が有効でないことを示す。
論文 参考訳(メタデータ) (2022-07-15T15:02:38Z) - MOOD: Multi-level Out-of-distribution Detection [13.207044902083057]
異常な入力がデプロイ中にモデルが失敗するのを防ぐには、分散アウト・ディストリビューション(OOD)検出が不可欠です。
動的かつ効率的なOOD推論のための中間分類器出力を利用する,新しいフレームワークであるマルチレベルアウトオブディストリビューション検出MOODを提案する。
MOODは、競合するOOD検出性能を維持しながら、推論における最大71.05%の計算削減を実現します。
論文 参考訳(メタデータ) (2021-04-30T02:18:31Z) - ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。
ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-06-26T20:58:05Z) - Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。
ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
論文 参考訳(メタデータ) (2020-03-21T17:46:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。