論文の概要: Detecting Out-of-Distribution Through the Lens of Neural Collapse

• arxiv url: http://arxiv.org/abs/2311.01479v7
• Date: Thu, 03 Apr 2025 04:16:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-12 02:27:31.713884
• Title: Detecting Out-of-Distribution Through the Lens of Neural Collapse
• Title（参考訳）: 神経崩壊のレンズによるアウトオブディストリビューションの検出
• Authors: Litian Liu, Yao Qin,
• Abstract要約: Out-of-Distribution (OOD) 検出は安全なデプロイメントに不可欠である。 ニューラル・コラプス現象に触発されて,我々は多目的かつ効率的なOOD検出法を提案する。
• 参考スコア（独自算出の注目度）: 7.04686607977352
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Out-of-Distribution (OOD) detection is critical for safe deployment; however, existing detectors often struggle to generalize across datasets of varying scales and model architectures, and some can incur high computational costs in real-world applications. Inspired by the phenomenon of Neural Collapse, we propose a versatile and efficient OOD detection method. Specifically, we re-characterize prior observations that in-distribution (ID) samples form clusters, demonstrating that, with appropriate centering, these clusters align closely with model weight vectors. Additionally, we reveal that ID features tend to expand into a simplex Equiangular Tight Frame, explaining the common observation that ID features are situated farther from the origin than OOD features. Incorporating both insights from Neural Collapse, our OOD detector leverages feature proximity to weight vectors and complements this approach by using feature norms to effectively filter out OOD samples. Extensive experiments on off-the-shelf models demonstrate the robustness of our OOD detector across diverse scenarios, mitigating generalization discrepancies and enhancing overall performance, with inference latency comparable to that of the basic softmax-confidence detector. Code is available here: https://github.com/litianliu/NCI-OOD.
• Abstract（参考訳）: アウト・オブ・ディストリビューション(OOD)検出は安全な配置には不可欠であるが、既存の検出器は様々なスケールとモデルアーキテクチャのデータセットをまたいだ一般化に苦慮し、現実のアプリケーションで高い計算コストを発生させることができる。 ニューラル・コラプス現象に触発されて,我々は多目的かつ効率的なOOD検出法を提案する。 具体的には、分布内サンプル(ID)がクラスターを形成するという事前の観測を再現し、適切な中心となると、これらのクラスターはモデル重みベクトルと密接に一致していることを示す。 さらに,ID特徴は単純な等角的タイトフレームに拡張する傾向にあり,OOD特徴よりもID特徴が起源から遠く離れた位置にあるという共通の見解が説明できる。 Neural Collapseから両方の洞察を取り入れたOOD検出器は、重みベクトルに近接する特徴を活用し、特徴ノルムを用いてOODサンプルを効果的にフィルタリングすることでこのアプローチを補完する。 オフザシェルフモデルに対する大規模な実験は、OOD検出器が様々なシナリオにまたがって堅牢であることを示し、一般化の相違を緩和し、全体的な性能を向上させる。 コードは、https://github.com/litianliu/NCI-OOD.comで入手できる。

関連論文リスト

• RUNA: Object-level Out-of-Distribution Detection via Regional Uncertainty Alignment of Multimodal Representations [33.971901643313856]
  RUNAは、アウト・オブ・ディストリビューション(OOD)オブジェクトを検出するための新しいフレームワークである。 これは、OODオブジェクトとIDを効果的に区別するために、地域不確実性アライメント機構を使用する。 実験の結果,RUNAはオブジェクトレベルのOOD検出において最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2025-03-28T10:01:55Z)
• Going Beyond Conventional OOD Detection [0.0]
  アウト・オブ・ディストリビューション(OOD)検出は、重要なアプリケーションにディープラーニングモデルの安全なデプロイを保証するために重要である。 従来型OOD検出(ASCOOD)への統一的アプローチを提案する。 提案手法は, スパイラル相関の影響を効果的に軽減し, 微粒化特性の獲得を促す。
  論文  参考訳（メタデータ） (2024-11-16T13:04:52Z)
• Double Descent Meets Out-of-Distribution Detection: Theoretical Insights and Empirical Analysis on the role of model complexity [2.206582444513284]
  トレーニングとOODサンプルの両方において,分類器の信頼性を評価するためのOODリスク指標を提案する。 パラメータ数がサンプル数に等しい場合,OODリスクは無限のピークを示す。
  論文  参考訳（メタデータ） (2024-11-04T15:39:12Z)
• Dimensionality-induced information loss of outliers in deep neural networks [29.15751143793406]
  ディープニューラルネットワーク(DNN)を用いたシステムにおいて、アウト・オブ・ディストリビューション(OOD)検出は重要な問題である 複数の視点から特徴表現の層依存性を調べることにより,この問題を実験的に解明する。 特徴量と重みのアライメントに基づく次元認識型OOD検出手法を提案する。
  論文  参考訳（メタデータ） (2024-10-29T01:52:46Z)
• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
  本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。 IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。 本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
  論文  参考訳（メタデータ） (2024-04-24T03:25:53Z)
• Exploring Large Language Models for Multi-Modal Out-of-Distribution Detection [67.68030805755679]
  大きな言語モデル(LLM)は豊富な世界の知識をエンコードし、クラスごとに記述的な特徴を生成するよう促すことができる。 本稿では,LLMの選択的生成によるOOD検出性能向上のための世界知識の適用を提案する。
  論文  参考訳（メタデータ） (2023-10-12T04:14:28Z)
• NECO: NEural Collapse Based Out-of-distribution detection [2.4958897155282282]
  OOD検出のための新しいポストホック法NECOを紹介する。 実験の結果,NECOは小型・大規模OOD検出タスクの両方を達成できた。 OOD検出における本手法の有効性を理論的に説明する。
  論文  参考訳（メタデータ） (2023-10-10T17:53:36Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• AUTO: Adaptive Outlier Optimization for Online Test-Time OOD Detection [81.49353397201887]
  オープンソースアプリケーションに機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠だ。 我々は、未ラベルのオンラインデータをテスト時に直接利用してOOD検出性能を向上させる、テスト時OOD検出と呼ばれる新しいパラダイムを導入する。 本稿では,入出力フィルタ,IDメモリバンク,意味的に一貫性のある目的からなる適応外乱最適化(AUTO)を提案する。
  論文  参考訳（メタデータ） (2023-03-22T02:28:54Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• On the Usefulness of Deep Ensemble Diversity for Out-of-Distribution Detection [7.221206118679026]
  ディープラーニングの安全性クリティカルな応用において、OOD(Out-of-Distribution)データを検出する能力が重要である。 この文献の既存の直観は、ディープ・アンサンブルの予測の多様性は分布シフトを示しているということである。 ImageNet-scale OOD 検出では,この直観が有効でないことを示す。
  論文  参考訳（メタデータ） (2022-07-15T15:02:38Z)
• Unsupervised Anomaly Detection with Adversarial Mirrored AutoEncoders [51.691585766702744]
  本稿では,識別器のミラー化ワッサースタイン損失を利用して,よりセマンティックレベルの再構築を行う逆自動エンコーダの変種を提案する。 我々は,再建基準の代替として,異常スコアの代替尺度を提案した。 提案手法は,OOD検出ベンチマークにおける異常検出の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2020-03-24T08:26:58Z)
• Robust Out-of-distribution Detection for Neural Networks [51.19164318924997]
  既存の検出機構は, 分布内およびOOD入力の評価において, 極めて脆弱であることを示す。 ALOE と呼ばれる実効性のあるアルゴリズムを提案する。このアルゴリズムは,逆向きに構築された逆数と外数の両方の例にモデルを公開することにより,堅牢なトレーニングを行う。
  論文  参考訳（メタデータ） (2020-03-21T17:46:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。