Fugu-MT 論文翻訳(概要): Inducing Early Neural Collapse in Deep Neural Networks for Improved Out-of-Distribution Detection

論文の概要: Inducing Early Neural Collapse in Deep Neural Networks for Improved Out-of-Distribution Detection

arxiv url: http://arxiv.org/abs/2209.08378v1
Date: Sat, 17 Sep 2022 17:46:06 GMT
ステータス: 処理完了
システム内更新日: 2022-09-20 18:55:21.906965
Title: Inducing Early Neural Collapse in Deep Neural Networks for Improved Out-of-Distribution Detection
Title（参考訳）: 深部ニューラルネットワークにおける早期神経崩壊の誘発による分布外検出の改善
Authors: Jarrod Haas, William Yolland, Bernhard Rabus
Abstract要約: 本稿では,標準ResNetアーキテクチャの簡易な修正,すなわち機能空間上のL2正規化を提案する。この変化は初期のニューラル・コラプス(NC)も引き起こし、より優れたOoD性能が期待できる効果を示す。
参考スコア（独自算出の注目度）: 0.9558392439655015
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We propose a simple modification to standard ResNet architectures--L2 regularization over feature space--that substantially improves out-of-distribution (OoD) performance on the previously proposed Deep Deterministic Uncertainty (DDU) benchmark. This change also induces early Neural Collapse (NC), which we show is an effect under which better OoD performance is more probable. Our method achieves comparable or superior OoD detection scores and classification accuracy in a small fraction of the training time of the benchmark. Additionally, it substantially improves worst case OoD performance over multiple, randomly initialized models. Though we do not suggest that NC is the sole mechanism or comprehensive explanation for OoD behaviour in deep neural networks (DNN), we believe NC's simple mathematical and geometric structure can provide an framework for analysis of this complex phenomenon in future work.
Abstract（参考訳）: 本稿では,従来提案していたddu(deep deterministic uncertainty)ベンチマークのout-of-distribution(ood)性能を大幅に向上させる,標準resnetアーキテクチャの簡単な修正を提案する。この変化は早期神経崩壊(英語版)(nc)も引き起こし、より優れたood性能が期待できる効果を示す。提案手法は,ベンチマークのトレーニング時間のごく一部において,OoD検出スコアと分類精度を比較または比較する。さらに、複数のランダム初期化モデルに対して最悪のOoD性能を大幅に改善する。深層ニューラルネットワーク(DNN)におけるOoD動作のメカニズムや包括的説明はNCのみであるとは示唆していないが、NCの単純な数学的および幾何学的構造は、この複雑な現象を将来の研究で分析するための枠組みを提供することができると信じている。

関連論文リスト

Feature Attenuation of Defective Representation Can Resolve Incomplete Masking on Anomaly Detection [1.0358639819750703]
教師なし異常検出(UAD)研究では、計算効率が高くスケーラブルなソリューションを開発する必要がある。再建・塗り替えのアプローチを再考し、強みと弱みを分析して改善する。異常再構成の特徴情報を減衰させる2つの層のみを用いるFADeR(Feature Attenuation of Defective Representation)を提案する。
論文参考訳（メタデータ） (2024-07-05T15:44:53Z)
A New PHO-rmula for Improved Performance of Semi-Structured Networks [0.0]
本研究では,SSNにおけるモデルコンポーネントのコントリビューションを適切に識別する手法が,最適ネットワーク推定に繋がることを示す。モデルコンポーネントの識別性を保証し,予測品質を向上する非侵襲的ポストホック化(PHO)を提案する。我々の理論的な知見は、数値実験、ベンチマーク比較、およびCOVID-19感染症に対する現実の応用によって裏付けられている。
論文参考訳（メタデータ） (2023-06-01T10:23:28Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Deep Neural Collapse Is Provably Optimal for the Deep Unconstrained Features Model [21.79259092920587]
深い制約のない特徴モデルにおいて、二分分類のための一意な大域的最適化は、ディープ・ニューラル・崩壊(DNC)に典型的なすべての特性を示すことを示す。また, (i) 深部非拘束特徴モデルを勾配降下法により最適化することにより, 得られた解は我々の理論とよく一致し, (ii) 訓練されたネットワークはDNCに適した非拘束特徴を回復することを示した。
論文参考訳（メタデータ） (2023-05-22T15:51:28Z)
A Kernel-Expanded Stochastic Neural Network [10.837308632004644]
ディープニューラルネットワークは、トレーニングにおいて、しばしばローカルな最小限に閉じ込められる。新しいカーネル拡張ニューラルネットワーク(K-StoNet)モデルは、潜在変数モデルとしてネットワークを再構成する。モデルは命令正規化最適化(IRO)アルゴリズムを用いて容易に訓練することができる。
論文参考訳（メタデータ） (2022-01-14T06:42:42Z)
Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文参考訳（メタデータ） (2021-10-20T06:15:45Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文参考訳（メタデータ） (2020-05-20T11:11:47Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文参考訳（メタデータ） (2020-03-26T11:13:07Z)
Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted $\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization Analysis [19.706363403596196]
本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
論文参考訳（メタデータ） (2020-03-18T17:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。