論文の概要: Towards Understanding Neural Collapse: The Effects of Batch
Normalization and Weight Decay
- arxiv url: http://arxiv.org/abs/2309.04644v2
- Date: Mon, 2 Oct 2023 20:10:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 07:20:53.109706
- Title: Towards Understanding Neural Collapse: The Effects of Batch
Normalization and Weight Decay
- Title(参考訳): 神経崩壊の理解に向けて:バッチ正規化と体重減少の影響
- Authors: Leyan Pan, Xinyuan Cao
- Abstract要約: ニューラル・コラプス(Neural Collapse, NC)は、ニューラルネットワーク分類器の最終層で最近観察された幾何学的構造である。
本稿では, バッチ正規化(BN), 重量減衰, NC構造との類似性について検討する。
本研究は,NCの多面的側面をカプセル化した,幾何学的に直感的なクラス内コサインとクラス間コサインを導入している。
- 参考スコア(独自算出の注目度): 0.8049750230212122
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Collapse (NC) is a geometric structure recently observed in the final
layer of neural network classifiers. In this paper, we investigate the
interrelationships between batch normalization (BN), weight decay, and
proximity to the NC structure. Our work introduces the geometrically intuitive
intra-class and inter-class cosine similarity measure, which encapsulates
multiple core aspects of NC. Leveraging this measure, we establish theoretical
guarantees for the emergence of NC under the influence of last-layer BN and
weight decay, specifically in scenarios where the regularized cross-entropy
loss is near-optimal. Experimental evidence substantiates our theoretical
findings, revealing a pronounced occurrence of NC in models incorporating BN
and appropriate weight-decay values. This combination of theoretical and
empirical insights suggests a greatly influential role of BN and weight decay
in the emergence of NC.
- Abstract(参考訳): Neural Collapse(NC)は、ニューラルネットワーク分類器の最終層で最近観察された幾何学的構造である。
本稿では,バッチ正規化 (bn) と重量減衰, nc 構造との相互関係について検討する。
本研究は,複数のncコアを包含する幾何学的直感的クラス内およびクラス間コサイン類似度尺度を導入する。
この測定を応用して、最終層BNと重み減衰の影響下でのNCの出現に関する理論的保証を確立し、特に正規化されたクロスエントロピー損失がほぼ最適であるシナリオにおいて、その理論的保証を確立する。
実験結果から,bnと適切な重み決定値を含むモデルにおいてncが顕著に出現することが明らかとなった。
この理論と経験的な洞察の組み合わせは、NCの出現においてBNと重みの崩壊に大きな影響を与えることを示唆している。
関連論文リスト
- Towards Demystifying the Generalization Behaviors When Neural Collapse
Emerges [132.62934175555145]
Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である
本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。
我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
論文 参考訳(メタデータ) (2023-10-12T14:29:02Z) - Neural (Tangent Kernel) Collapse [41.273479684974234]
この研究は、ニューラル・タンジェント・カーネル(NTK)とニューラル・コラプス(NC)という2つの重要な概念を橋渡しする。
平均二乗損失(MSE)で訓練されたDNNの力学を導出し,それらを解釈可能な位相に分解する。
我々は,DNNにおけるNCの出現をブロック構造NTKで証明するために,ダイナミクスの本質を捉える不変量を用いている。
論文 参考訳(メタデータ) (2023-05-25T18:56:34Z) - Deep Neural Collapse Is Provably Optimal for the Deep Unconstrained
Features Model [21.79259092920587]
深い制約のない特徴モデルにおいて、二分分類のための一意な大域的最適化は、ディープ・ニューラル・崩壊(DNC)に典型的なすべての特性を示すことを示す。
また, (i) 深部非拘束特徴モデルを勾配降下法により最適化することにより, 得られた解は我々の理論とよく一致し, (ii) 訓練されたネットワークはDNCに適した非拘束特徴を回復することを示した。
論文 参考訳(メタデータ) (2023-05-22T15:51:28Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced
Data [12.225207401994737]
大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。
特に、最終層の特徴がクラス平均に崩壊することが観察されている。
本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
論文 参考訳(メタデータ) (2023-01-01T16:29:56Z) - Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。
最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。
本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
論文 参考訳(メタデータ) (2022-02-16T14:17:37Z) - On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。
エルゴード理論の力学系に基づく新しい視点を提案する。
論文 参考訳(メタデータ) (2021-10-12T18:12:23Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳(メタデータ) (2021-03-03T06:17:03Z) - Explicit regularization and implicit bias in deep network classifiers
trained with the square loss [2.8935588665357077]
平方損失で訓練された深いReLUネットワークは分類の仕事でよく機能するために観察されました。
正規化法を重み決定法とともに用いる場合,絶対最小ノルムの解への収束が期待できることを示す。
論文 参考訳(メタデータ) (2020-12-31T21:07:56Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳(メタデータ) (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。