論文の概要: The Persistence of Neural Collapse Despite Low-Rank Bias: An Analytic Perspective Through Unconstrained Features

• arxiv url: http://arxiv.org/abs/2410.23169v1
• Date: Wed, 30 Oct 2024 16:20:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:26:58.741357
• Title: The Persistence of Neural Collapse Despite Low-Rank Bias: An Analytic Perspective Through Unconstrained Features
• Title（参考訳）: 低ランクバイアスによる神経崩壊の持続性 : 非拘束的特徴を通した解析的考察
• Authors: Connall Garrod, Jonathan P. Keating,
• Abstract要約: ディープニューラルネットワークは最終層の特徴と重みにおいて単純な構造を示し、一般に神経崩壊と呼ばれる。 最近の知見は、そのような構造は、深い制約のない特徴モデルでは一般的に最適ではないことを示している。 これは正則化によって引き起こされる低ランクバイアスによるもので、これは一般的に深い神経崩壊に関連するものよりも低いランクの解を好む。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Modern deep neural networks have been observed to exhibit a simple structure in their final layer features and weights, commonly referred to as neural collapse. This phenomenon has also been noted in layers beyond the final one, an extension known as deep neural collapse. Recent findings indicate that such a structure is generally not optimal in the deep unconstrained feature model, an approximation of an expressive network. This is attributed to a low-rank bias induced by regularization, which favors solutions with lower-rank than those typically associated with deep neural collapse. In this work, we extend these observations to the cross-entropy loss and analyze how the low-rank bias influences various solutions. Additionally, we explore how this bias induces specific structures in the singular values of the weights at global optima. Furthermore, we examine the loss surface of these models and provide evidence that the frequent observation of deep neural collapse in practice, despite its suboptimality, may result from its higher degeneracy on the loss surface.
• Abstract（参考訳）: 現代のディープニューラルネットワークは最終層の特徴と重みに単純な構造を示すことが観察されており、一般に神経崩壊と呼ばれる。 この現象は、ディープ・ニューラル・崩壊(英語版)として知られる最後のもの以上の層でも指摘されている。 近年,このような構造は,表現的ネットワークの近似である深部非拘束特徴モデルにおいて,一般に最適ではないことが示唆されている。 これは正則化によって引き起こされる低ランクバイアスによるもので、これは一般的に深い神経崩壊に関連するものよりも低いランクの解を好む。 本研究では、これらの観測結果をクロスエントロピー損失に拡張し、低ランクバイアスが様々な解にどのように影響するかを分析する。 さらに、このバイアスがグローバルオプティマにおける重みの特異値の特定の構造をどのように誘導するかを考察する。 さらに,これらのモデルの損失面について検討し,その準最適性にも拘わらず,実際の深部神経崩壊の頻繁な観察は,損失面の退化によって引き起こされる可能性があることを示す。

関連論文リスト

• Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal? [21.05674840609307]
  ディープニューラルネットワーク(DNN)は、ニューラル崩壊(NC)と呼ばれる最終層に驚くべき構造を示す 多クラス分類において、任意の深さの非線形モデルに焦点をあて、驚くべき定性的シフトを明らかにする。 主な原因は、多層正規化スキームの低ランクバイアスである。
  論文  参考訳（メタデータ） (2024-05-23T11:55:49Z)
• Unifying Low Dimensional Observations in Deep Learning Through the Deep Linear Unconstrained Feature Model [0.0]
  深部ニューラルネットワークの重み,ヘッセン,勾配,特徴ベクトルの低次元構造について検討した。 一般化された制約のない特徴モデルでそれらを統一する方法を示す。
  論文  参考訳（メタデータ） (2024-04-09T08:17:32Z)
• Neural Rank Collapse: Weight Decay and Small Within-Class Variability Yield Low-Rank Bias [4.829265670567825]
  トレーニングネットワークの低ランクバイアスとニューラルネットワークの神経崩壊特性を結びつける,興味深いニューラルネットワークランク崩壊現象の存在を示す。 重み劣化パラメータが大きくなるにつれて、ネットワーク内の各レイヤのランクは、前のレイヤの隠れ空間埋め込みのクラス内変動に比例して減少する。
  論文  参考訳（メタデータ） (2024-02-06T13:44:39Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• On the Robustness of Neural Collapse and the Neural Collapse of Robustness [6.80303951699936]
  ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。 これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。 我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
  論文  参考訳（メタデータ） (2023-11-13T16:18:58Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
  非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。 このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。 また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
  論文  参考訳（メタデータ） (2021-10-06T14:18:47Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。