論文の概要: Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data
- arxiv url: http://arxiv.org/abs/2409.01832v2
- Date: Fri, 6 Sep 2024 03:13:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 13:11:14.785778
- Title: Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data
- Title（参考訳）: 制約のない機能を超えて: 一般データ付き浅層ニューラルネットワークのためのニューラルネットワークのニューラルネットワーク崩壊
- Authors: Wanli Hong, Shuyang Ling,
- Abstract要約: ニューラル崩壊(Neural collapse, NC)は、ディープ・ニューラル・ネットワーク(DNN)の終末期に発生する現象である。
2層または3層ニューラルネットワークでNCが発生した場合の完全な特徴付けを提供する。
- 参考スコア（独自算出の注目度）: 0.8594140167290099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural collapse (NC) is a phenomenon that emerges at the terminal phase of the training (TPT) of deep neural networks (DNNs). The features of the data in the same class collapse to their respective sample means and the sample means exhibit a simplex equiangular tight frame (ETF). In the past few years, there has been a surge of works that focus on explaining why the NC occurs and how it affects generalization. Since the DNNs are notoriously difficult to analyze, most works mainly focus on the unconstrained feature model (UFM). While the UFM explains the NC to some extent, it fails to provide a complete picture of how the network architecture and the dataset affect NC. In this work, we focus on shallow ReLU neural networks and try to understand how the width, depth, data dimension, and statistical property of the training dataset influence the neural collapse. We provide a complete characterization of when the NC occurs for two or three-layer neural networks. For two-layer ReLU neural networks, a sufficient condition on when the global minimizer of the regularized empirical risk function exhibits the NC configuration depends on the data dimension, sample size, and the signal-to-noise ratio in the data instead of the network width. For three-layer neural networks, we show that the NC occurs as long as the first layer is sufficiently wide. Regarding the connection between NC and generalization, we show the generalization heavily depends on the SNR (signal-to-noise ratio) in the data: even if the NC occurs, the generalization can still be bad provided that the SNR in the data is too low. Our results significantly extend the state-of-the-art theoretical analysis of the N C under the UFM by characterizing the emergence of the N C under shallow nonlinear networks and showing how it depends on data properties and network architecture.
- Abstract（参考訳）: ニューラル崩壊(Neural collapse, NC)は、ディープニューラルネットワーク(DNN)のトレーニング(TPT)の最終段階に発生する現象である。
また、各サンプル手段に同級データの特徴が崩壊し、サンプル手段は、単純な等角形状のタイトフレーム(ETF)を示す。
過去数年間、NCがなぜ発生し、それが一般化にどのように影響するかを説明することに焦点を当てた研究が急増している。
DNNは分析が難しいことで知られているため、ほとんどの研究は主に制約のない機能モデル(UFM)に焦点を当てている。
UFMはNCをある程度説明しているが、ネットワークアーキテクチャとデータセットがNCにどのように影響するかの完全な図は提供していない。
本研究では、浅いReLUニューラルネットワークに着目し、トレーニングデータセットの幅、深さ、データ次元、統計的性質が神経崩壊に与える影響を理解する。
2層または3層ニューラルネットワークでNCが発生した場合の完全な特徴付けを提供する。
2層ReLUニューラルネットワークの場合、正規化された経験的リスク関数のグローバル最小化器がNC構成を示すときの十分条件は、ネットワーク幅ではなく、データ次元、サンプルサイズ、信号対雑音比に依存する。
3層ニューラルネットワークでは,第1層が十分に広い範囲でNCが発生することを示す。
NCと一般化の関係について、一般化はデータのSNR(signal-to-noise ratio)に大きく依存していることを示す。
この結果は, 浅い非線形ネットワーク下でのNCの出現を特徴付けるとともに, データ特性やネットワークアーキテクチャにどのように依存するかを特徴付けることにより, FM下でのNCの最先端理論解析を著しく拡張する。
関連論文リスト
- Kernel vs. Kernel: Exploring How the Data Structure Affects Neural Collapse [9.975341265604577]
ニューラル・コラプス(Neural Collapse)とは、NC1と呼ばれるネットワークの最も深い機能のクラス内での多様性の低下である。
この制限に悩まされないカーネルベースの分析を提供する。
NTKは、原型データモデルに対するNNGPよりも崩壊した特徴を表現していないことを示す。
論文 参考訳（メタデータ） (2024-06-04T08:33:56Z) - Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。
本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。
特徴学習体制下で訓練されたニューラルネットワークに対して,適切な特異ベクトルと重みの値が,クラス内変動の崩壊の大部分の原因となることを示す。
論文 参考訳（メタデータ） (2024-02-21T11:40:27Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data [12.225207401994737]
大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。
特に、最終層の特徴がクラス平均に崩壊することが観察されている。
本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
論文 参考訳（メタデータ） (2023-01-01T16:29:56Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - Parameter Convex Neural Networks [13.42851919291587]
本研究では,ある条件下でのニューラルネットワークのパラメータに関して凸である指数的多層ニューラルネットワーク(EMLP)を提案する。
後期実験では,指数グラフ畳み込みネットワーク(EGCN)を同じアーキテクチャで構築し,グラフ分類データセット上で実験を行う。
論文 参考訳（メタデータ） (2022-06-11T16:44:59Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Disentangling Trainability and Generalization in Deep Neural Networks [45.15453323967438]
我々は,ニューラルネットワークのトレーニング性と一般化のために,NTK(Neural Tangent Kernel)のスペクトルを分析した。
グローバル平均プールのないCNNはFCNとほぼ同じ挙動を示すが、プールを持つCNNは著しく異なり、しばしば一般化性能が向上している。
論文 参考訳（メタデータ） (2019-12-30T18:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。