論文の概要: Neural Collapse for Cross-entropy Class-Imbalanced Learning with
Unconstrained ReLU Feature Model
- arxiv url: http://arxiv.org/abs/2401.02058v1
- Date: Thu, 4 Jan 2024 04:53:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 15:55:10.065877
- Title: Neural Collapse for Cross-entropy Class-Imbalanced Learning with
Unconstrained ReLU Feature Model
- Title（参考訳）: 非拘束型relu特徴モデルを用いたクロスエントロピークラス不均衡学習における神経崩壊
- Authors: Hien Dang and Tho Tran and Tan Nguyen and Nhat Ho
- Abstract要約: トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。
本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。
重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
- 参考スコア（独自算出の注目度）: 27.981055963228197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current paradigm of training deep neural networks for classification
tasks includes minimizing the empirical risk that pushes the training loss
value towards zero, even after the training error has been vanished. In this
terminal phase of training, it has been observed that the last-layer features
collapse to their class-means and these class-means converge to the vertices of
a simplex Equiangular Tight Frame (ETF). This phenomenon is termed as Neural
Collapse (NC). To theoretically understand this phenomenon, recent works employ
a simplified unconstrained feature model to prove that NC emerges at the global
solutions of the training problem. However, when the training dataset is
class-imbalanced, some NC properties will no longer be true. For example, the
class-means geometry will skew away from the simplex ETF when the loss
converges. In this paper, we generalize NC to imbalanced regime for
cross-entropy loss under the unconstrained ReLU feature model. We prove that,
while the within-class features collapse property still holds in this setting,
the class-means will converge to a structure consisting of orthogonal vectors
with different lengths. Furthermore, we find that the classifier weights are
aligned to the scaled and centered class-means with scaling factors depend on
the number of training samples of each class, which generalizes NC in the
class-balanced setting. We empirically prove our results through experiments on
practical architectures and dataset.
- Abstract（参考訳）: 分類タスクのためのディープニューラルネットワークのトレーニングの現在のパラダイムは、トレーニングエラーが消失した後でもトレーニング損失値をゼロにプッシュする経験的リスクを最小化することを含む。
この最終段階の訓練では、最終層はクラス平均に崩壊し、これらのクラス平均は単純等角タイトフレーム(etf)の頂点に収束することが観察されている。
この現象はNeural Collapse(NC)と呼ばれる。
この現象を理論的に理解するために、最近の研究では、NCがトレーニング問題のグローバルな解で現れることを示すために、単純化された制約のない特徴モデルを採用している。
しかし、トレーニングデータセットがクラス不均衡である場合、NCプロパティのいくつかはもはや真実ではない。
例えば、クラス平均幾何学は、損失が収束すると単純なETFから切り離される。
本稿では,unconstrained relu feature model 下でのクロスエントロピー損失に対する不均衡レジームにncを一般化する。
この設定では、クラス内特徴の崩壊性は依然として保たれているが、クラス平均は異なる長さの直交ベクトルからなる構造に収束する。
さらに,分類器の重みは,クラスバランス設定においてNCを一般化する各クラスのトレーニングサンプル数に依存するスケーリング係数と集中型クラス平均値に一致していることがわかった。
実践的なアーキテクチャとデータセットの実験を通じて、実証的に結果を証明する。
関連論文リスト
- Neural Collapse for Unconstrained Feature Model under Cross-entropy Loss
with Imbalanced Data [1.0152838128195467]
クロスエントロピー損失関数の下での不均衡データに対するニューラル・コラプス(NC)現象の拡張について検討した。
私たちの貢献は、最先端の成果と比べて多角的です。
論文 参考訳（メタデータ） (2023-09-18T12:45:08Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳（メタデータ） (2023-02-06T18:39:40Z) - Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data [12.225207401994737]
大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。
特に、最終層の特徴がクラス平均に崩壊することが観察されている。
本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
論文 参考訳（メタデータ） (2023-01-01T16:29:56Z) - Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for
Imbalanced Learning [97.81549071978789]
勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。
大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-04-19T08:23:23Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。
最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。
本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文 参考訳（メタデータ） (2022-02-16T14:17:37Z) - Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討
信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。
一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
論文 参考訳（メタデータ） (2022-02-14T07:45:51Z) - Prevalence of Neural Collapse during the terminal phase of deep learning
training [7.031848258307718]
終末訓練(TPT)によるDeepnets分類訓練の現代的実践
TPT中、トレーニングエラーは事実上ゼロであり、トレーニング損失はゼロにプッシュされる。
TPTによって誘導される対称的かつ非常に単純な幾何学は、より良い性能、より良い一般化、より良い解釈可能性を含む重要な利益をもたらす。
論文 参考訳（メタデータ） (2020-08-18T23:12:54Z) - Identifying and Compensating for Feature Deviation in Imbalanced Deep
Learning [59.65752299209042]
このようなシナリオ下でのConvNetの学習について検討する。
私たちは、ConvNetがマイナーなクラスにかなり適合していることに気づきました。
クラス依存型温度トレーニング(CDT)のConvNetの導入を提案する。
論文 参考訳（メタデータ） (2020-01-06T03:52:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。