論文の概要: Towards Understanding Neural Collapse: The Effects of Batch Normalization and Weight Decay

• arxiv url: http://arxiv.org/abs/2309.04644v2
• Date: Mon, 2 Oct 2023 20:10:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 07:20:53.109706
• Title: Towards Understanding Neural Collapse: The Effects of Batch Normalization and Weight Decay
• Title（参考訳）: 神経崩壊の理解に向けて:バッチ正規化と体重減少の影響
• Authors: Leyan Pan, Xinyuan Cao
• Abstract要約: ニューラル・コラプス(Neural Collapse, NC)は、ニューラルネットワーク分類器の最終層で最近観察された幾何学的構造である。 本稿では, バッチ正規化(BN), 重量減衰, NC構造との類似性について検討する。 本研究は,NCの多面的側面をカプセル化した,幾何学的に直感的なクラス内コサインとクラス間コサインを導入している。
• 参考スコア（独自算出の注目度）: 0.8049750230212122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Collapse (NC) is a geometric structure recently observed in the final layer of neural network classifiers. In this paper, we investigate the interrelationships between batch normalization (BN), weight decay, and proximity to the NC structure. Our work introduces the geometrically intuitive intra-class and inter-class cosine similarity measure, which encapsulates multiple core aspects of NC. Leveraging this measure, we establish theoretical guarantees for the emergence of NC under the influence of last-layer BN and weight decay, specifically in scenarios where the regularized cross-entropy loss is near-optimal. Experimental evidence substantiates our theoretical findings, revealing a pronounced occurrence of NC in models incorporating BN and appropriate weight-decay values. This combination of theoretical and empirical insights suggests a greatly influential role of BN and weight decay in the emergence of NC.
• Abstract（参考訳）: Neural Collapse(NC)は、ニューラルネットワーク分類器の最終層で最近観察された幾何学的構造である。 本稿では,バッチ正規化 (bn) と重量減衰, nc 構造との相互関係について検討する。 本研究は,複数のncコアを包含する幾何学的直感的クラス内およびクラス間コサイン類似度尺度を導入する。 この測定を応用して、最終層BNと重み減衰の影響下でのNCの出現に関する理論的保証を確立し、特に正規化されたクロスエントロピー損失がほぼ最適であるシナリオにおいて、その理論的保証を確立する。 実験結果から,bnと適切な重み決定値を含むモデルにおいてncが顕著に出現することが明らかとなった。 この理論と経験的な洞察の組み合わせは、NCの出現においてBNと重みの崩壊に大きな影響を与えることを示唆している。

関連論文リスト

• Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data [0.8594140167290099]
  ニューラル崩壊(Neural collapse, NC)は、ディープ・ニューラル・ネットワーク(DNN)の終末期に発生する現象である。 2層または3層ニューラルネットワークでNCが発生した場合の完全な特徴付けを提供する。
  論文  参考訳（メタデータ） (2024-09-03T12:30:21Z)
• Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal? [21.05674840609307]
  ディープニューラルネットワーク(DNN)は、ニューラル崩壊(NC)と呼ばれる最終層に驚くべき構造を示す 多クラス分類において、任意の深さの非線形モデルに焦点をあて、驚くべき定性的シフトを明らかにする。 主な原因は、多層正規化スキームの低ランクバイアスである。
  論文  参考訳（メタデータ） (2024-05-23T11:55:49Z)
• Supervised Contrastive Representation Learning: Landscape Analysis with Unconstrained Features [33.703796571991745]
  最近の研究では、ゼロトレーニングを超えて訓練された過度パラメータ化されたディープニューラルネットワークが、最終層に特徴的な構造パターンを示すことが明らかになっている。 これらの結果から,これらのネットワークにおける最終層出力はクラス内変動が最小限であることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T06:02:45Z)
• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Deep Neural Collapse Is Provably Optimal for the Deep Unconstrained Features Model [21.79259092920587]
  深い制約のない特徴モデルにおいて、二分分類のための一意な大域的最適化は、ディープ・ニューラル・崩壊(DNC)に典型的なすべての特性を示すことを示す。 また, (i) 深部非拘束特徴モデルを勾配降下法により最適化することにより, 得られた解は我々の理論とよく一致し, (ii) 訓練されたネットワークはDNCに適した非拘束特徴を回復することを示した。
  論文  参考訳（メタデータ） (2023-05-22T15:51:28Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Neural Collapse: A Review on Modelling Principles and Generalization [0.0]
  神経崩壊は基本的に、最終隠蔽層出力のクラス内変動が無限小である状態を表す。 この状態の単純さにもかかわらず、それに到達するための力学と意味はまだ完全には理解されていない。
  論文  参考訳（メタデータ） (2022-06-08T17:55:28Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。