論文の概要: Neural Collapse: A Review on Modelling Principles and Generalization
- arxiv url: http://arxiv.org/abs/2206.04041v1
- Date: Wed, 8 Jun 2022 17:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 14:08:55.814367
- Title: Neural Collapse: A Review on Modelling Principles and Generalization
- Title(参考訳): Neural Collapse: モデリング原則と一般化に関するレビュー
- Authors: Vignesh Kothapalli, Ebrahim Rasromani, Vasudev Awatramani
- Abstract要約: NC(Neural Collapse)は、トレーニングデータに関連する最後の隠れ層のクラス特徴を、各クラス特徴手段に分解する傾向があることを記述している。
我々は、このような現象をゼロからモデル化するのに役立つ原則を分析し、NCを説明するために最近提案されたモデルの共通理解を構築する方法を示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With a recent observation of the "Neural Collapse (NC)" phenomena by Papyan
et al., various efforts have been made to model it and analyse the
implications. Neural collapse describes that in deep classifier networks, the
class features of the final hidden layer associated with training data tend to
collapse to the respective class feature means. Thus, simplifying the behaviour
of the last layer classifier to that of a nearest-class center decision rule.
In this work, we analyse the principles which aid in modelling such a phenomena
from the ground up and show how they can build a common understanding of the
recently proposed models that try to explain NC. We hope that our analysis
presents a multifaceted perspective on modelling NC and aids in forming
connections with the generalization capabilities of neural networks. Finally,
we conclude by discussing the avenues for further research and propose
potential research problems.
- Abstract(参考訳): 近年,パパヤンらによる「ニューラル・崩壊(Neural Collapse, NC)」現象の観測により,そのモデル化と解析に様々な取り組みがなされている。
neural collapseは、深層分類器ネットワークにおいて、トレーニングデータに関連する最終隠れレイヤのクラス特徴が、各クラス特徴手段に崩壊する傾向があることを記述している。
従って、最後の層分類器の振る舞いを最も近い中心決定ルールの振る舞いに単純化する。
本研究では,このような現象を基礎からモデル化する上での原理を分析し,ncを説明するために最近提案されたモデルの共通理解をいかに構築できるかを示す。
我々は,ニューラルネットワークの一般化能力と接続する上で,NCをモデル化する多面的視点を提示できることを期待する。
最後に,今後の研究の道筋を議論し,今後の研究課題を提案する。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [54.27778591338189]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳(メタデータ) (2024-02-21T15:51:01Z) - Average gradient outer product as a mechanism for deep neural collapse [27.38167323187622]
Deep Neural Collapse (DNC)は、Deep Neural Networks (DNN)の最終層におけるデータ表現の驚くほど硬い構造を指す。
DNC生成は主に,平均勾配外積(AGOP)を用いた深層特徴学習を通じて起こることを示す重要な証拠を提供する。
そして、実験と理論的に、AGOPがランダムなニューラルネットワークで神経崩壊を引き起こすことを確立した。
論文 参考訳(メタデータ) (2024-02-21T11:40:27Z) - On the Robustness of Neural Collapse and the Neural Collapse of
Robustness [6.80303951699936]
ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。
これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。
我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
論文 参考訳(メタデータ) (2023-11-13T16:18:58Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳(メタデータ) (2023-03-07T18:59:38Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - Limitations of Neural Collapse for Understanding Generalization in Deep
Learning [25.48346719747956]
パパヤン、ハン、ドノホの最近の研究は興味深い「ニューラル崩壊」現象を示した。
私たちのモチベーションは、この研究プログラムの上限を研究することです。
論文 参考訳(メタデータ) (2022-02-17T00:20:12Z) - An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。
このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。
また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
論文 参考訳(メタデータ) (2021-10-06T14:18:47Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse
in Imbalanced Training [39.137793683411424]
解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。
このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。
特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
論文 参考訳(メタデータ) (2021-01-29T17:37:17Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳(メタデータ) (2020-11-18T18:52:08Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。