論文の概要: Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal?
- arxiv url: http://arxiv.org/abs/2405.14468v2
- Date: Mon, 21 Oct 2024 11:54:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-22 13:14:18.563475
- Title: Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal?
- Title(参考訳): ニューラル崩壊と低ランクバイアス:ディープ・ニューラル崩壊は本当に最適か?
- Authors: Peter Súkeník, Marco Mondelli, Christoph Lampert,
- Abstract要約: ディープニューラルネットワーク(DNN)は、ニューラル崩壊(NC)と呼ばれる最終層に驚くべき構造を示す
多クラス分類において、任意の深さの非線形モデルに焦点をあて、驚くべき定性的シフトを明らかにする。
主な原因は、多層正規化スキームの低ランクバイアスである。
- 参考スコア(独自算出の注目度): 21.05674840609307
- License:
- Abstract: Deep neural networks (DNNs) exhibit a surprising structure in their final layer known as neural collapse (NC), and a growing body of works has currently investigated the propagation of neural collapse to earlier layers of DNNs -- a phenomenon called deep neural collapse (DNC). However, existing theoretical results are restricted to special cases: linear models, only two layers or binary classification. In contrast, we focus on non-linear models of arbitrary depth in multi-class classification and reveal a surprising qualitative shift. As soon as we go beyond two layers or two classes, DNC stops being optimal for the deep unconstrained features model (DUFM) -- the standard theoretical framework for the analysis of collapse. The main culprit is a low-rank bias of multi-layer regularization schemes: this bias leads to optimal solutions of even lower rank than the neural collapse. We support our theoretical findings with experiments on both DUFM and real data, which show the emergence of the low-rank structure in the solution found by gradient descent.
- Abstract(参考訳): ディープ・ニューラル・ネットワーク(DNN)は、その最終層であるニューラル・崩壊(NC)に驚くべき構造を示す。
しかし、既存の理論的結果は、線形モデル、2つの層または二項分類という特別なケースに制限されている。
対照的に、多クラス分類における任意の深さの非線形モデルに焦点をあて、驚くべき定性的シフトを明らかにする。
2つのレイヤや2つのクラスを超えるとすぐに、DNCは、崩壊の分析の標準的な理論フレームワークであるDuFM(Deep UnConstrained Feature Model)に対して最適であるのをやめます。
主な原因は多層正規化スキームの低ランクバイアスであり、このバイアスは神経崩壊よりもさらに低いランクの最適解をもたらす。
我々は, DUFMと実データの両方の実験により, 勾配降下による溶液中の低ランク構造の出現を示す理論的な知見を支持した。
関連論文リスト
- Average gradient outer product as a mechanism for deep neural collapse [26.939895223897572]
Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。
本研究では,平均勾配外積(AGOP)を通した特徴学習によりDNCが生成するデータ依存環境を提案する。
本稿では,各層で計算されたAGOP行列による投影の結果,DNCがDeep Recursive Feature Machinesで発生することを理論的,実証的に実証する。
論文 参考訳(メタデータ) (2024-02-21T11:40:27Z) - Neural Rank Collapse: Weight Decay and Small Within-Class Variability
Yield Low-Rank Bias [4.829265670567825]
トレーニングネットワークの低ランクバイアスとニューラルネットワークの神経崩壊特性を結びつける,興味深いニューラルネットワークランク崩壊現象の存在を示す。
重み劣化パラメータが大きくなるにつれて、ネットワーク内の各レイヤのランクは、前のレイヤの隠れ空間埋め込みのクラス内変動に比例して減少する。
論文 参考訳(メタデータ) (2024-02-06T13:44:39Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳(メタデータ) (2023-07-20T13:34:11Z) - A Neural Collapse Perspective on Feature Evolution in Graph Neural
Networks [44.31777384413466]
グラフニューラルネットワーク(GNN)は、グラフ構造化データの分類タスクでますます人気が高まっている。
本稿では,ノードワイズ分類に着目し,ニューラル崩壊現象のレンズによる特徴進化を考察する。
我々は、「最適」な数学的モデルでさえ、グラフが正確な崩壊を伴う最小値を持つためには厳密な構造条件に従う必要があることを示した。
論文 参考訳(メタデータ) (2023-07-04T23:03:21Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Deep Neural Collapse Is Provably Optimal for the Deep Unconstrained
Features Model [21.79259092920587]
深い制約のない特徴モデルにおいて、二分分類のための一意な大域的最適化は、ディープ・ニューラル・崩壊(DNC)に典型的なすべての特性を示すことを示す。
また, (i) 深部非拘束特徴モデルを勾配降下法により最適化することにより, 得られた解は我々の理論とよく一致し, (ii) 訓練されたネットワークはDNCに適した非拘束特徴を回復することを示した。
論文 参考訳(メタデータ) (2023-05-22T15:51:28Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳(メタデータ) (2023-03-07T18:59:38Z) - Neural Collapse: A Review on Modelling Principles and Generalization [0.0]
神経崩壊は基本的に、最終隠蔽層出力のクラス内変動が無限小である状態を表す。
この状態の単純さにもかかわらず、それに到達するための力学と意味はまだ完全には理解されていない。
論文 参考訳(メタデータ) (2022-06-08T17:55:28Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-06T19:08:53Z) - LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。
フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
論文 参考訳(メタデータ) (2021-03-01T03:10:11Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳(メタデータ) (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。