論文の概要: Controlling Neural Collapse Enhances Out-of-Distribution Detection and Transfer Learning

• arxiv url: http://arxiv.org/abs/2502.10691v1
• Date: Sat, 15 Feb 2025 06:38:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:59.591704
• Title: Controlling Neural Collapse Enhances Out-of-Distribution Detection and Transfer Learning
• Title（参考訳）: ニューラル・コラプスの制御はアウト・オブ・ディストリビューションの検出と伝達学習を促進する
• Authors: Md Yousuf Harun, Jhair Gallardo, Christopher Kanan,
• Abstract要約: Out-of-distribution (OOD) 検出とOOD一般化はDeep Neural Networks (DNN) で広く研究されている。 ネットワーク層におけるニューラル・コラプス(NC)の程度が,これらの目的と逆関係であることを実証的に示す。 NCをOOD検出と一般化にリンクする理論的枠組みを開発する。 固定されたSimplex Equiangular Tight Frame (ETF) プロジェクタはNCを強制し、より優れた検出を行う。
• 参考スコア（独自算出の注目度）: 15.04184913100922
• License:
• Abstract: Out-of-distribution (OOD) detection and OOD generalization are widely studied in Deep Neural Networks (DNNs), yet their relationship remains poorly understood. We empirically show that the degree of Neural Collapse (NC) in a network layer is inversely related with these objectives: stronger NC improves OOD detection but degrades generalization, while weaker NC enhances generalization at the cost of detection. This trade-off suggests that a single feature space cannot simultaneously achieve both tasks. To address this, we develop a theoretical framework linking NC to OOD detection and generalization. We show that entropy regularization mitigates NC to improve generalization, while a fixed Simplex Equiangular Tight Frame (ETF) projector enforces NC for better detection. Based on these insights, we propose a method to control NC at different DNN layers. In experiments, our method excels at both tasks across OOD datasets and DNN architectures.
• Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)の検出とOOD一般化はディープニューラルネットワーク(DNN)で広く研究されているが、それらの関係はよく分かっていない。 より強いNCはOOD検出を改善するが、より弱いNCは検出コストで一般化を高める一方、一般化は低下する。 このトレードオフは、単一の機能空間が両方のタスクを同時に達成できないことを示唆している。 そこで我々は,NCをOOD検出と一般化にリンクする理論的枠組みを開発した。 エントロピー正則化はNCを緩和して一般化を改善する一方、固定されたSimplex Equiangular Tight Frame (ETF) プロジェクタはNCをより良い検出のために強制する。 これらの知見に基づき,異なるDNN層におけるNC制御手法を提案する。 実験では,OODデータセットとDNNアーキテクチャにまたがる両方のタスクに優れる。

関連論文リスト

• Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data [0.8594140167290099]
  ニューラル崩壊(Neural collapse, NC)は、ディープ・ニューラル・ネットワーク(DNN)の終末期に発生する現象である。 2層または3層ニューラルネットワークでNCが発生した場合の完全な特徴付けを提供する。
  論文  参考訳（メタデータ） (2024-09-03T12:30:21Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• NECO: NEural Collapse Based Out-of-distribution detection [2.4958897155282282]
  OOD検出のための新しいポストホック法NECOを紹介する。 実験の結果,NECOは小型・大規模OOD検出タスクの両方を達成できた。 OOD検出における本手法の有効性を理論的に説明する。
  論文  参考訳（メタデータ） (2023-10-10T17:53:36Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Adversarial Training Using Feedback Loops [1.6114012813668932]
  ディープニューラルネットワーク(DNN)は、一般化性に制限があるため、敵の攻撃に非常に敏感である。 本稿では制御理論に基づく新しいロバスト化手法を提案する。 フィードバック制御アーキテクチャに基づく新しい逆行訓練アプローチは、フィードバックループ逆行訓練(FLAT)と呼ばれる。
  論文  参考訳（メタデータ） (2023-08-23T02:58:02Z)
• Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
  我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。 GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
  論文  参考訳（メタデータ） (2023-02-06T16:38:43Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Detection of out-of-distribution samples using binary neuron activation patterns [0.26249027950824505]
  未確認入力を新しいものとして識別する能力は、自動運転車、無人航空機、ロボットなどの安全上重要な応用に不可欠である。 OODサンプルを検出するための既存のアプローチでは、DNNをブラックボックスとして扱い、出力予測の信頼性スコアを評価する。 本稿では,新しいOOD検出法を提案する。本手法は,ReLUアーキテクチャにおけるニューロン活性化パターン(NAP)の理論的解析に動機付けられている。
  論文  参考訳（メタデータ） (2022-12-29T11:42:46Z)
• Inducing Early Neural Collapse in Deep Neural Networks for Improved Out-of-Distribution Detection [0.9558392439655015]
  本稿では,標準ResNetアーキテクチャの簡易な修正,すなわち機能空間上のL2正規化を提案する。 この変化は初期のニューラル・コラプス(NC)も引き起こし、より優れたOoD性能が期待できる効果を示す。
  論文  参考訳（メタデータ） (2022-09-17T17:46:06Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。