論文の概要: Detecting Out-of-Distribution Through the Lens of Neural Collapse

• arxiv url: http://arxiv.org/abs/2311.01479v3
• Date: Thu, 23 May 2024 04:25:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 20:23:38.038293
• Title: Detecting Out-of-Distribution Through the Lens of Neural Collapse
• Title（参考訳）: 神経崩壊のレンズによるアウトオブディストリビューションの検出
• Authors: Litian Liu, Yao Qin,
• Abstract要約: アウト・オブ・ディストリビューション(OOD)検出は、AIの安全なデプロイに不可欠である。 ニューラル・コラプス(Neural Collapse)に触発されて、OOD試料の特徴と比較して重量ベクトルに近づいた分布内分布(ID)サンプルの特徴が明らかになった。 我々は,OOD検出における重みベクトルへの特徴近接を利用して,OODサンプルをフィルタする特徴ノルムを用いて,この視点を補うことを提案する。
• 参考スコア（独自算出の注目度）: 7.04686607977352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efficient and versatile Out-of-Distribution (OOD) detection is essential for the safe deployment of AI yet remains challenging for existing algorithms. Inspired by Neural Collapse, we discover that features of in-distribution (ID) samples cluster closer to the weight vectors compared to features of OOD samples. In addition, we reveal that ID features tend to expand in space to structure a simplex Equiangular Tight Framework, which nicely explains the prevalent observation that ID features reside further from the origin than OOD features. Taking both insights from Neural Collapse into consideration, we propose to leverage feature proximity to weight vectors for OOD detection and further complement this perspective by using feature norms to filter OOD samples. Extensive experiments on off-the-shelf models demonstrate the efficiency and effectiveness of our method across diverse classification tasks and model architectures, enhancing the generalization capability of OOD detection.
• Abstract（参考訳）: AIの安全なデプロイには、効率的で汎用性の高いOOD(Out-of-Distribution)検出が不可欠だが、既存のアルゴリズムでは依然として難しい。 ニューラル・コラプス(Neural Collapse)に触発されて、OOD試料の特徴と比較して重量ベクトルに近づいた分布内分布(ID)サンプルの特徴が明らかになった。 さらに,ID機能は空間的に拡張され,単純な等角的タイトフレームワークが構築される傾向があることも明らかにした。 ニューラル・コラプスの知見を両面から考慮し,OOD検出に重みベクトルに近づき,特徴ノルムを用いてOODサンプルをフィルタリングすることで,この視点を補完することを提案する。 オフザシェルフモデルに対する広範囲な実験により,OOD検出の一般化能力を向上し,多様な分類タスクやモデルアーキテクチャにまたがる手法の有効性と有効性を示した。

関連論文リスト

• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• Classifier-head Informed Feature Masking and Prototype-based Logit Smoothing for Out-of-Distribution Detection [27.062465089674763]
  ニューラルネットワークを現実世界にデプロイする際には、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 1つの大きな課題は、ニューラルネットワークがOODデータに対して過信的な予測をすることです。 本稿では,新しい特徴マスキング戦略と新しいロジット平滑化戦略に基づく,効果的なポストホックOOD検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T12:42:17Z)
• Exploring Large Language Models for Multi-Modal Out-of-Distribution Detection [67.68030805755679]
  大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。 本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
  論文  参考訳（メタデータ） (2023-10-12T04:14:28Z)
• NECO: NEural Collapse Based Out-of-distribution detection [2.4958897155282282]
  OOD検出のための新しいポストホック法NECOを紹介する。 実験の結果,NECOは小型・大規模OOD検出タスクの両方を達成できた。 OOD検出における本手法の有効性を理論的に説明する。
  論文  参考訳（メタデータ） (2023-10-10T17:53:36Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Background Matters: Enhancing Out-of-distribution Detection with Domain Features [90.32910087103744]
  OODサンプルは任意の分布から引き出すことができ、様々な次元における分布内(ID)データからの偏差を示す。 既存の方法は、ドメインの特徴のような他の次元を無視しながら、意味的特徴に基づいてOODサンプルを検出することに重点を置いている。 本稿では,IDトレーニングサンプルからドメインの特徴を高密度な予測手法により学習することのできる,新しい汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-15T16:12:14Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Beyond Mahalanobis-Based Scores for Textual OOD Detection [32.721317681946246]
  動作要件を満たすTransformerアーキテクチャに基づく分類器のための新しいOOD検出器TRUSTEDを紹介する。 TRUSTEDの効率性は、すべての隠された層がOODのサンプルを検出するための関連情報を持っているという実りある考えに依存している。 実験では、さまざまなチェックポイント、シード、データセットを含む51kのモデル構成を取り上げ、TRUSTEDが最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-11-24T10:51:58Z)
• Out-Of-Distribution Detection With Subspace Techniques And Probabilistic Modeling Of Features [7.219077740523682]
  本論文では,DNN(Deep Neural Network)におけるOOD(Out-of- Distributionion)サンプル検出の原理的手法を提案する。 深部特徴量に基づく確率分布のモデル化は,近年,DNNにおけるOODサンプルの検出方法として,効率的かつ安価に実現されている。 線形統計的次元還元法と非線形多様体学習法を高次元的特徴に適用し、その特徴にまたがる真の部分空間を捕捉する。
  論文  参考訳（メタデータ） (2020-12-08T07:07:11Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。