論文の概要: The Prevalence of Neural Collapse in Neural Multivariate Regression
- arxiv url: http://arxiv.org/abs/2409.04180v2
- Date: Wed, 30 Oct 2024 02:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 23:11:54.740315
- Title: The Prevalence of Neural Collapse in Neural Multivariate Regression
- Title（参考訳）: 神経多変量回帰における神経崩壊の頻度
- Authors: George Andriopoulos, Zixuan Dong, Li Guo, Zifan Zhao, Keith Ross,
- Abstract要約: ニューラルネットワークは、分類問題に対するトレーニングの最終段階において、ニューラルネットワークがニューラル・コラプス(NC)を示すことを示す。
我々の知る限り、これは回帰の文脈における神経崩壊に関する最初の経験的、理論的研究である。
- 参考スコア（独自算出の注目度）: 3.691119072844077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently it has been observed that neural networks exhibit Neural Collapse (NC) during the final stage of training for the classification problem. We empirically show that multivariate regression, as employed in imitation learning and other applications, exhibits Neural Regression Collapse (NRC), a new form of neural collapse: (NRC1) The last-layer feature vectors collapse to the subspace spanned by the $n$ principal components of the feature vectors, where $n$ is the dimension of the targets (for univariate regression, $n=1$); (NRC2) The last-layer feature vectors also collapse to the subspace spanned by the last-layer weight vectors; (NRC3) The Gram matrix for the weight vectors converges to a specific functional form that depends on the covariance matrix of the targets. After empirically establishing the prevalence of (NRC1)-(NRC3) for a variety of datasets and network architectures, we provide an explanation of these phenomena by modeling the regression task in the context of the Unconstrained Feature Model (UFM), in which the last layer feature vectors are treated as free variables when minimizing the loss function. We show that when the regularization parameters in the UFM model are strictly positive, then (NRC1)-(NRC3) also emerge as solutions in the UFM optimization problem. We also show that if the regularization parameters are equal to zero, then there is no collapse. To our knowledge, this is the first empirical and theoretical study of neural collapse in the context of regression. This extension is significant not only because it broadens the applicability of neural collapse to a new category of problems but also because it suggests that the phenomena of neural collapse could be a universal behavior in deep learning.
- Abstract（参考訳）: 近年,ニューラルネットワークは分類問題のトレーニングの最終段階にニューラル・コラプス(NC)を示すことが観察されている。
NRC1) 最後の層特徴ベクトルは、特徴ベクトルの$n$主成分で区切られた部分空間に崩壊し、$n$は、目標の次元である(単変量回帰、$n=1$); (NRC2) 最後の層特徴ベクトルも、最終層重みベクトルで区切られた部分空間に崩壊する(NRC3) 重みベクトルのグラム行列は、目標の共分散行列に依存する特定の機能形式に収束する。
種々のデータセットやネットワークアーキテクチャに対する(NRC1)-(NRC3)の妥当性を実証的に確立した後、損失関数を最小化する際に最終層特徴ベクトルを自由変数として扱う非制約特徴モデル(UFM)の文脈で回帰タスクをモデル化することにより、これらの現象を説明する。
UFMモデルにおける正規化パラメータが厳密な正の場合, (NRC1)-(NRC3) も UFM 最適化問題の解として現れる。
また、正規化パラメータが 0 に等しい場合、崩壊しないことを示す。
我々の知る限り、これは回帰の文脈における神経崩壊に関する最初の経験的、理論的研究である。
この拡張は、ニューラル崩壊の応用範囲を新しい問題カテゴリに広げるだけでなく、ニューラル崩壊の現象がディープラーニングにおける普遍的な振る舞いであることを示唆している。
関連論文リスト
- Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse [32.06666853127924]
収束時のディープニューラルネットワーク(DNN)は、ニューラル崩壊と呼ばれる対称的な幾何学構造を通して、最終層のトレーニングデータを一貫して表現している。
ここでは、垂直層の特徴は自由変数であり、モデルがデータに依存しないため、トレーニングをキャプチャする能力に疑問を呈する。
まず, (i) 線形層の低トレーニング誤差とバランス性, (ii) 線形部の前の特徴の有界条件付けを前提とした神経崩壊に関する一般的な保証を示す。
論文 参考訳（メタデータ） (2024-10-07T10:16:40Z) - Neural Collapse for Unconstrained Feature Model under Cross-entropy Loss
with Imbalanced Data [1.0152838128195467]
クロスエントロピー損失関数の下での不均衡データに対するニューラル・コラプス(NC)現象の拡張について検討した。
私たちの貢献は、最先端の成果と比べて多角的です。
論文 参考訳（メタデータ） (2023-09-18T12:45:08Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - How (Implicit) Regularization of ReLU Neural Networks Characterizes the
Learned Function -- Part II: the Multi-D Case of Two Layers with Random First
Layer [2.1485350418225244]
本稿では,ReLUアクティベーションを伴うランダム化した浅層NNの一般化挙動を,正確なマクロ解析により解析する。
RSNは、無限に多くの方向が考慮される一般化加法モデル(GAM)型回帰に対応することを示す。
論文 参考訳（メタデータ） (2023-03-20T21:05:47Z) - Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data [12.225207401994737]
大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。
特に、最終層の特徴がクラス平均に崩壊することが観察されている。
本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
論文 参考訳（メタデータ） (2023-01-01T16:29:56Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - On Mean Absolute Error for Deep Neural Network Based Vector-to-Vector
Regression [79.86233860519621]
我々は,ディープニューラルネットワーク(DNN)に基づくベクトル-ベクトル回帰の損失関数として,平均絶対誤差(MAE)の特性を利用する。
我々は,MAEをラプラシアン分布によってモデル化された誤差として解釈できることを示す。
論文 参考訳（メタデータ） (2020-08-12T22:41:26Z) - The Interpolation Phase Transition in Neural Networks: Memorization and
Generalization under Lazy Training [10.72393527290646]
ニューラル・タンジェント(NT)体制における2層ニューラルネットワークの文脈における現象について検討した。
Ndgg n$ とすると、テストエラーは無限幅のカーネルに対するカーネルリッジ回帰の1つによってよく近似される。
後者は誤差リッジ回帰によりよく近似され、活性化関数の高次成分に関連する自己誘導項により正規化パラメータが増加する。
論文 参考訳（メタデータ） (2020-07-25T01:51:13Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。