論文の概要: Neural Collapse for Unconstrained Feature Model under Cross-entropy Loss
with Imbalanced Data
- arxiv url: http://arxiv.org/abs/2309.09725v1
- Date: Mon, 18 Sep 2023 12:45:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 13:30:40.211682
- Title: Neural Collapse for Unconstrained Feature Model under Cross-entropy Loss
with Imbalanced Data
- Title（参考訳）: 不均衡データを用いたクロスエントロピー損失下における非拘束特徴モデルの神経崩壊
- Authors: Wanli Hong and Shuyang Ling
- Abstract要約: クロスエントロピー損失関数の下での不均衡データに対するニューラル・コラプス(NC)現象の拡張について検討した。
私たちの貢献は、最先端の成果と比べて多角的です。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed the huge success of deep neural networks (DNNs)
in various tasks of computer vision and text processing. Interestingly, these
DNNs with massive number of parameters share similar structural properties on
their feature representation and last-layer classifier at terminal phase of
training (TPT). Specifically, if the training data are balanced (each class
shares the same number of samples), it is observed that the feature vectors of
samples from the same class converge to their corresponding in-class mean
features and their pairwise angles are the same. This fascinating phenomenon is
known as Neural Collapse (N C), first termed by Papyan, Han, and Donoho in
2019. Many recent works manage to theoretically explain this phenomenon by
adopting so-called unconstrained feature model (UFM). In this paper, we study
the extension of N C phenomenon to the imbalanced data under cross-entropy loss
function in the context of unconstrained feature model. Our contribution is
multi-fold compared with the state-of-the-art results: (a) we show that the
feature vectors exhibit collapse phenomenon, i.e., the features within the same
class collapse to the same mean vector; (b) the mean feature vectors no longer
form an equiangular tight frame. Instead, their pairwise angles depend on the
sample size; (c) we also precisely characterize the sharp threshold on which
the minority collapse (the feature vectors of the minority groups collapse to
one single vector) will take place; (d) finally, we argue that the effect of
the imbalance in datasize diminishes as the sample size grows. Our results
provide a complete picture of the N C under the cross-entropy loss for the
imbalanced data. Numerical experiments confirm our theoretical analysis.
- Abstract（参考訳）: 近年、コンピュータビジョンやテキスト処理の様々なタスクにおいて、ディープニューラルネットワーク(DNN)が大きな成功を収めているのを目撃している。
興味深いことに、大量のパラメータを持つこれらのDNNは、特徴表現と終末期(TPT)における最終層分類器に類似した構造特性を共有している。
具体的には、トレーニングデータ(各クラスが同じサンプル数を共有する)のバランスをとると、同じクラスのサンプルの特徴ベクトルが対応するクラス内平均特徴に収束し、ペアワイズ角が同じであることが観察される。
この現象は、2019年にパパヤン、ハン、ドノホによって初めて言及されたNeural Collapse(NC)として知られている。
近年の多くの研究は、いわゆるunconstrained feature model(ufm)を採用してこの現象を理論的に説明している。
本稿では,非拘束特徴モデルの文脈におけるクロスエントロピー損失関数下の不均衡データへの n c 現象の拡張について検討する。
私たちの貢献は最先端の成果と比較すると多様です。
(a)特徴ベクトルが崩壊現象、すなわち同じクラス内の特徴が同じ平均ベクトルに崩壊することを示す。
b) 平均特徴ベクトルは、もはや等角的タイトフレームを形成しない。
その代わりに、その対角はサンプルサイズに依存する。
(c) 少数群の崩壊(少数群の特徴ベクトルが1つのベクトルに崩壊する)が起こるシャープしきい値も正確に特徴づける。
(d)最後に、サンプルサイズが大きくなるとデータサイズの不均衡の影響が減少する。
以上より,不均衡データに対するクロスエントロピー損失下でのn c の全体像を示す。
数値実験は我々の理論解析を裏付ける。
関連論文リスト
- Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse [32.06666853127924]
収束時のディープニューラルネットワーク(DNN)は、ニューラル崩壊と呼ばれる対称的な幾何学構造を通して、最終層のトレーニングデータを一貫して表現している。
ここでは、垂直層の特徴は自由変数であり、モデルがデータに依存しないため、トレーニングをキャプチャする能力に疑問を呈する。
まず, (i) 線形層の低トレーニング誤差とバランス性, (ii) 線形部の前の特徴の有界条件付けを前提とした神経崩壊に関する一般的な保証を示す。
論文 参考訳（メタデータ） (2024-10-07T10:16:40Z) - The Prevalence of Neural Collapse in Neural Multivariate Regression [3.691119072844077]
ニューラルネットワークは、分類問題に対するトレーニングの最終段階において、ニューラルネットワークがニューラル・コラプス(NC)を示すことを示す。
我々の知る限り、これは回帰の文脈における神経崩壊に関する最初の経験的、理論的研究である。
論文 参考訳（メタデータ） (2024-09-06T10:45:58Z) - Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。
本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。
重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
論文 参考訳（メタデータ） (2024-01-04T04:53:31Z) - Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data [12.225207401994737]
大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。
特に、最終層の特徴がクラス平均に崩壊することが観察されている。
本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
論文 参考訳（メタデータ） (2023-01-01T16:29:56Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Imbalance Trouble: Revisiting Neural-Collapse Geometry [27.21274327569783]
本稿では, 神経崩壊現象の不変性として, Simplex-Encoded-Labels Interpolation (SELI) を導入する。
我々は,UFMのクロスエントロピー損失と正規化の消失を証明した。
我々はSELI幾何への収束を確かめる合成データセットと実データセットについて実験を行った。
論文 参考訳（メタデータ） (2022-08-10T18:10:59Z) - Curvature-informed multi-task learning for graph networks [56.155331323304]
最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。
この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
論文 参考訳（メタデータ） (2022-08-02T18:18:41Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。
最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。
本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文 参考訳（メタデータ） (2022-02-16T14:17:37Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。