論文の概要: Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data
- arxiv url: http://arxiv.org/abs/2301.00437v5
- Date: Sun, 18 Jun 2023 07:55:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 04:28:25.342870
- Title: Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data
- Title（参考訳）: ディープ線形ネットワークにおけるニューラル崩壊:バランスデータから不均衡データへ
- Authors: Hien Dang and Tho Tran and Stanley Osher and Hung Tran-The and Nhat Ho
and Tan Nguyen
- Abstract要約: 大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。
特に、最終層の特徴がクラス平均に崩壊することが観察されている。
本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
- 参考スコア（独自算出の注目度）: 12.225207401994737
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern deep neural networks have achieved impressive performance on tasks
from image classification to natural language processing. Surprisingly, these
complex systems with massive amounts of parameters exhibit the same structural
properties in their last-layer features and classifiers across canonical
datasets when training until convergence. In particular, it has been observed
that the last-layer features collapse to their class-means, and those
class-means are the vertices of a simplex Equiangular Tight Frame (ETF). This
phenomenon is known as Neural Collapse (NC). Recent papers have theoretically
shown that NC emerges in the global minimizers of training problems with the
simplified "unconstrained feature model". In this context, we take a step
further and prove the NC occurrences in deep linear networks for the popular
mean squared error (MSE) and cross entropy (CE) losses, showing that global
solutions exhibit NC properties across the linear layers. Furthermore, we
extend our study to imbalanced data for MSE loss and present the first
geometric analysis of NC under bias-free setting. Our results demonstrate the
convergence of the last-layer features and classifiers to a geometry consisting
of orthogonal vectors, whose lengths depend on the amount of data in their
corresponding classes. Finally, we empirically validate our theoretical
analyses on synthetic and practical network architectures with both balanced
and imbalanced scenarios.
- Abstract（参考訳）: 最近のディープニューラルネットワークは、画像分類から自然言語処理まで、タスクで素晴らしいパフォーマンスを達成している。
驚くべきことに、大量のパラメータを持つこれらの複雑なシステムは、収束までのトレーニングにおいて、最終層の特徴と分類器において同じ構造特性を示す。
特に、ラスト層の特徴はクラス平均に崩壊し、それらのクラス平均は単純等角タイトフレーム(etf)の頂点であることが観察されている。
この現象はNeural Collapse(NC)として知られている。
近年の論文では、単純化された"unconstrained feature model"を用いた学習問題の大域的最小化にncが現れることが理論的に示されている。
この文脈では、一般的な平均二乗誤差 (MSE) とクロスエントロピー (CE) の損失に対して、より深い線形ネットワークにおけるNCの発生を証明し、大域的な解が線形層にまたがるNC特性を示すことを示す。
さらに,本研究をmse損失に対する不均衡データに拡張し,バイアスフリー設定下でのncの最初の幾何解析を提案する。
以上の結果から,最終層の特徴と分類器の直交ベクトルからなる幾何への収束が,対応するクラスにおけるデータ量に依存することを示す。
最後に、バランスの取れたシナリオと不均衡なシナリオの両方で、合成および実用的なネットワークアーキテクチャに関する理論的解析を実証的に検証する。
関連論文リスト
- Supervised Contrastive Representation Learning: Landscape Analysis with
Unconstrained Features [33.703796571991745]
最近の研究では、ゼロトレーニングを超えて訓練された過度パラメータ化されたディープニューラルネットワークが、最終層に特徴的な構造パターンを示すことが明らかになっている。
これらの結果から,これらのネットワークにおける最終層出力はクラス内変動が最小限であることがわかった。
論文 参考訳（メタデータ） (2024-02-29T06:02:45Z) - Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。
本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。
重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
論文 参考訳（メタデータ） (2024-01-04T04:53:31Z) - Neural Collapse for Unconstrained Feature Model under Cross-entropy Loss
with Imbalanced Data [1.0152838128195467]
クロスエントロピー損失関数の下での不均衡データに対するニューラル・コラプス(NC)現象の拡張について検討した。
私たちの貢献は、最先端の成果と比べて多角的です。
論文 参考訳（メタデータ） (2023-09-18T12:45:08Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - On the Optimization Landscape of Neural Collapse under MSE Loss: Global
Optimality with Unconstrained Features [38.05002597295796]
簡易等角密閉フレーム(ETF)の頂点に崩壊する崩壊層
興味深い経験的現象が、タスクのためのディープニューラルネットワークの最後の層と特徴で広く観測されている。
論文 参考訳（メタデータ） (2022-03-02T17:00:18Z) - Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。
最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。
本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文 参考訳（メタデータ） (2022-02-16T14:17:37Z) - Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central
Path [11.181590224799224]
最近の研究は、今日のディープネットトレーニングパラダイムで広範に発生するNeural Collapse(NC)と呼ばれる現象を発見した。
本研究では、3つの原型ネットワークと5つの標準データセットの実験的観測を報告し、MSE-NCの実証的現実を確立した。
我々は、制約のない特徴モデルにおいて、完全なニューラル崩壊を予測するクローズドフォームダイナミクスを生成する。
論文 参考訳（メタデータ） (2021-06-03T18:31:41Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳（メタデータ） (2020-02-22T21:13:44Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。