論文の概要: Perturbation Analysis of Neural Collapse
- arxiv url: http://arxiv.org/abs/2210.16658v2
- Date: Sun, 28 May 2023 22:54:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 03:15:13.815575
- Title: Perturbation Analysis of Neural Collapse
- Title（参考訳）: 神経崩壊の摂動解析
- Authors: Tom Tirer, Haoxiang Huang, Jonathan Niles-Weed
- Abstract要約: 分類のためのディープニューラルネットワークのトレーニングには、ゼロトレーニングエラー点を超えるトレーニング損失を最小限にすることが含まれる。
最近の研究は、全ての最小化器が正確な崩壊を示す理想化された制約のない特徴モデルを通して、この挙動を分析している。
本稿では,この現象を,予め定義された特徴行列の近傍に留まらせることで,よりリッチなモデルを提案する。
- 参考スコア（独自算出の注目度）: 24.94449183555951
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training deep neural networks for classification often includes minimizing
the training loss beyond the zero training error point. In this phase of
training, a "neural collapse" behavior has been observed: the variability of
features (outputs of the penultimate layer) of within-class samples decreases
and the mean features of different classes approach a certain tight frame
structure. Recent works analyze this behavior via idealized unconstrained
features models where all the minimizers exhibit exact collapse. However, with
practical networks and datasets, the features typically do not reach exact
collapse, e.g., because deep layers cannot arbitrarily modify intermediate
features that are far from being collapsed. In this paper, we propose a richer
model that can capture this phenomenon by forcing the features to stay in the
vicinity of a predefined features matrix (e.g., intermediate features). We
explore the model in the small vicinity case via perturbation analysis and
establish results that cannot be obtained by the previously studied models. For
example, we prove reduction in the within-class variability of the optimized
features compared to the predefined input features (via analyzing gradient flow
on the "central-path" with minimal assumptions), analyze the minimizers in the
near-collapse regime, and provide insights on the effect of regularization
hyperparameters on the closeness to collapse. We support our theory with
experiments in practical deep learning settings.
- Abstract（参考訳）: 分類のためのディープニューラルネットワークのトレーニングには、ゼロトレーニングエラーポイントを超えるトレーニング損失の最小化が含まれることが多い。
この段階では、クラス内のサンプルの特徴(ペナルティメート層のアウトプット)の変化が減少し、異なるクラスの平均的な特徴が特定のタイトなフレーム構造に近づくという「神経崩壊」の挙動が観察されている。
最近の研究は、全ての最小値が完全に崩壊する理想化されていない特徴モデルを通してこの振る舞いを分析する。
しかし、実際的なネットワークやデータセットでは、例えば深い層は崩壊から程遠い中間の機能を任意に修正できないため、機能は通常正確な崩壊に達しない。
本稿では,特徴を予め定義された特徴行列(例えば,中間特徴)の近傍に留まらせることにより,この現象を捉えることができるリッチなモデルを提案する。
本研究では, 摂動解析により小近傍のモデルを調べ, 既往のモデルでは得られない結果を得る。
例えば、最適化された特徴のクラス内変動を(最小限の仮定で「中央経路」の勾配流を解析することで)事前定義された入力特徴と比較し、近収束状態における最小値を分析し、正規化ハイパーパラメータが崩壊の近さに与える影響についての洞察を与える。
我々は,実際の深層学習環境で実験を行い,理論を支持する。
関連論文リスト
- Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。
本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。
重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
論文 参考訳（メタデータ） (2024-01-04T04:53:31Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳（メタデータ） (2023-02-06T18:39:40Z) - Neural Collapse with Normalized Features: A Geometric Analysis over the
Riemannian Manifold [30.3185037354742]
分類タスクのための正規化されたディープネットワーク上でのトレーニングでは、学習された特徴はいわゆる「神経崩壊」現象を示す。
特徴正規化により、より良い表現をより早く学習できることが示される。
論文 参考訳（メタデータ） (2022-09-19T17:26:32Z) - Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。
最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。
本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文 参考訳（メタデータ） (2022-02-16T14:17:37Z) - An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。
このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。
また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
論文 参考訳（メタデータ） (2021-10-06T14:18:47Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳（メタデータ） (2021-03-16T16:26:36Z) - Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse
in Imbalanced Training [39.137793683411424]
解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。
このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。
特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
論文 参考訳（メタデータ） (2021-01-29T17:37:17Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。