論文の概要: Generalizing and Decoupling Neural Collapse via Hyperspherical Uniformity Gap

• arxiv url: http://arxiv.org/abs/2303.06484v2
• Date: Sat, 15 Apr 2023 23:13:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 20:44:27.157207
• Title: Generalizing and Decoupling Neural Collapse via Hyperspherical Uniformity Gap
• Title（参考訳）: 超球面一様ギャップによる神経崩壊の一般化とデカップリング
• Authors: Weiyang Liu, Longhui Yu, Adrian Weller, Bernhard Sch\"olkopf
• Abstract要約: 我々は、元の神経崩壊(NC)を効果的に仮定する一般神経崩壊(GNC)仮説を提示する。 NCがニューラルネットワークのトレーニングターゲットをいかに特徴付けるかに着想を得て、GNCを最小クラス内変動と最大クラス間分離の2つの目標に分離する。 我々は,超球面均一性ギャップ(HUG)の汎用性を提案する。 クラス内コンパクト性とクラス間分離性を結合したクロスエントロピー損失とは異なり、HUGはより柔軟性があり、優れた代替損失関数として機能する。
• 参考スコア（独自算出の注目度）: 35.833744518920135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The neural collapse (NC) phenomenon describes an underlying geometric symmetry for deep neural networks, where both deeply learned features and classifiers converge to a simplex equiangular tight frame. It has been shown that both cross-entropy loss and mean square error can provably lead to NC. We remove NC's key assumption on the feature dimension and the number of classes, and then present a generalized neural collapse (GNC) hypothesis that effectively subsumes the original NC. Inspired by how NC characterizes the training target of neural networks, we decouple GNC into two objectives: minimal intra-class variability and maximal inter-class separability. We then use hyperspherical uniformity (which characterizes the degree of uniformity on the unit hypersphere) as a unified framework to quantify these two objectives. Finally, we propose a general objective -- hyperspherical uniformity gap (HUG), which is defined by the difference between inter-class and intra-class hyperspherical uniformity. HUG not only provably converges to GNC, but also decouples GNC into two separate objectives. Unlike cross-entropy loss that couples intra-class compactness and inter-class separability, HUG enjoys more flexibility and serves as a good alternative loss function. Empirical results show that HUG works well in terms of generalization and robustness.
• Abstract（参考訳）: 神経崩壊(NC)現象は、深い学習された特徴と分類器の両方が単純な等角的タイトフレームに収束する深層ニューラルネットワークの基本的な幾何学対称性を記述する。 クロスエントロピー損失と平均二乗誤差の両方がncにつながることが示されている。 我々は、NCの特徴次元とクラス数に関する重要な仮定を取り除き、元のNCを効果的に仮定する一般化された神経崩壊(GNC)仮説を示す。 NCがニューラルネットワークのトレーニングターゲットをいかに特徴付けるかに着想を得て、GNCを最小クラス内変動と最大クラス間分離の2つの目標に分離する。 次に、これらの2つの目的を定量化するための統一フレームワークとして、超球面均一性(単位超球面上の均一性の度合いを特徴付ける)を用いる。 最後に、クラス間およびクラス内超球面均一性の違いによって定義される汎用超球面均一性ギャップ(HUG)を提案する。 HUG は GNC に確実に収束するだけでなく、GNC を 2 つの別々の目的に分離する。 クラス内コンパクト性とクラス間分離性を結合したクロスエントロピー損失とは異なり、HUGはより柔軟性があり、優れた代替損失関数として機能する。 経験的結果は、HUGが一般化と堅牢性の観点からうまく機能することを示している。

関連論文リスト

• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Towards Understanding Neural Collapse: The Effects of Batch Normalization and Weight Decay [0.6813925418351435]
  ニューラル・コラプス(Neural Collapse, NC)は、深層ニューラルネットワークの終端で最近観測された幾何学的構造である。 我々は,バッチ正規化(BN)と重量減衰(WD)がNCの出現に重大な影響を及ぼすことを示した。 実験では, モデルがBN, 適切なWD値, 損失の低減, 最終層特徴ノルムの低下により, NCの存在感が強くなることを示した。
  論文  参考訳（メタデータ） (2023-09-09T00:05:45Z)
• Deep Neural Collapse Is Provably Optimal for the Deep Unconstrained Features Model [21.79259092920587]
  深い制約のない特徴モデルにおいて、二分分類のための一意な大域的最適化は、ディープ・ニューラル・崩壊(DNC)に典型的なすべての特性を示すことを示す。 また, (i) 深部非拘束特徴モデルを勾配降下法により最適化することにより, 得られた解は我々の理論とよく一致し, (ii) 訓練されたネットワークはDNCに適した非拘束特徴を回復することを示した。
  論文  参考訳（メタデータ） (2023-05-22T15:51:28Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Max-Margin Works while Large Margin Fails: Generalization without Uniform Convergence [55.26547500184405]
  既存のツールでは、テストの損失がトレーニングの損失に近いことを保証し、候補モデルのクラスを均一に制御するエム統一コンバージェンス(UC)に依存している。 Nagarajan と Kolter は、ある単純な線形および神経ネットワークの設定において、任意の一様収束境界は空であり、UC が失敗する環境での一般化の証明方法に関する疑問を解き放つことを示している。 我々は、ある信号対雑音のしきい値を超えると、これらの2つの設定でほぼテスト損失が得られないことを示す新しいタイプのマージン境界を証明した。
  論文  参考訳（メタデータ） (2022-06-16T02:46:26Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Adaptive-Gravity: A Defense Against Adversarial Samples [21.55567781552672]
  本稿では、ニューラルネットワークの深い分類器の強靭性を高めるために、Adaptive-Gravityと呼ばれる新しいモデルトレーニングソリューションを提案する。 各クラスタに関連付けられたセントロイドを用いて、異なるクラスのセントロイドを互いに引き離す反重力力を導出する。 実験結果から,Gravityは,最先端の敵攻撃に対するモデル強化のための強力な手段として機能するだけでなく,モデルのトレーニング精度を効果的に向上することが示された。
  論文  参考訳（メタデータ） (2022-04-07T18:55:27Z)
• On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features [38.05002597295796]
  簡易等角密閉フレーム(ETF)の頂点に崩壊する崩壊層 興味深い経験的現象が、タスクのためのディープニューラルネットワークの最後の層と特徴で広く観測されている。
  論文  参考訳（メタデータ） (2022-03-02T17:00:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。