論文の概要: Neural Collapse: A Review on Modelling Principles and Generalization
- arxiv url: http://arxiv.org/abs/2206.04041v1
- Date: Wed, 8 Jun 2022 17:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 14:08:55.814367
- Title: Neural Collapse: A Review on Modelling Principles and Generalization
- Title（参考訳）: Neural Collapse: モデリング原則と一般化に関するレビュー
- Authors: Vignesh Kothapalli, Ebrahim Rasromani, Vasudev Awatramani
- Abstract要約: NC(Neural Collapse)は、トレーニングデータに関連する最後の隠れ層のクラス特徴を、各クラス特徴手段に分解する傾向があることを記述している。
我々は、このような現象をゼロからモデル化するのに役立つ原則を分析し、NCを説明するために最近提案されたモデルの共通理解を構築する方法を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With a recent observation of the "Neural Collapse (NC)" phenomena by Papyan
et al., various efforts have been made to model it and analyse the
implications. Neural collapse describes that in deep classifier networks, the
class features of the final hidden layer associated with training data tend to
collapse to the respective class feature means. Thus, simplifying the behaviour
of the last layer classifier to that of a nearest-class center decision rule.
In this work, we analyse the principles which aid in modelling such a phenomena
from the ground up and show how they can build a common understanding of the
recently proposed models that try to explain NC. We hope that our analysis
presents a multifaceted perspective on modelling NC and aids in forming
connections with the generalization capabilities of neural networks. Finally,
we conclude by discussing the avenues for further research and propose
potential research problems.
- Abstract（参考訳）: 近年,パパヤンらによる「ニューラル・崩壊(Neural Collapse, NC)」現象の観測により,そのモデル化と解析に様々な取り組みがなされている。
neural collapseは、深層分類器ネットワークにおいて、トレーニングデータに関連する最終隠れレイヤのクラス特徴が、各クラス特徴手段に崩壊する傾向があることを記述している。
従って、最後の層分類器の振る舞いを最も近い中心決定ルールの振る舞いに単純化する。
本研究では,このような現象を基礎からモデル化する上での原理を分析し,ncを説明するために最近提案されたモデルの共通理解をいかに構築できるかを示す。
我々は,ニューラルネットワークの一般化能力と接続する上で,NCをモデル化する多面的視点を提示できることを期待する。
最後に,今後の研究の道筋を議論し,今後の研究課題を提案する。
関連論文リスト
- Wide Neural Networks Trained with Weight Decay Provably Exhibit Neural Collapse [32.06666853127924]
収束時のディープニューラルネットワーク(DNN)は、ニューラル崩壊と呼ばれる対称的な幾何学構造を通して、最終層のトレーニングデータを一貫して表現している。
ここでは、垂直層の特徴は自由変数であり、モデルがデータに依存しないため、トレーニングをキャプチャする能力に疑問を呈する。
まず, (i) 線形層の低トレーニング誤差とバランス性, (ii) 線形部の前の特徴の有界条件付けを前提とした神経崩壊に関する一般的な保証を示す。
論文 参考訳（メタデータ） (2024-10-07T10:16:40Z) - Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳（メタデータ） (2024-02-21T15:51:01Z) - On the Robustness of Neural Collapse and the Neural Collapse of Robustness [6.227447957721122]
ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。
これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。
我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
論文 参考訳（メタデータ） (2023-11-13T16:18:58Z) - Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。
緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
論文 参考訳（メタデータ） (2023-03-07T18:59:38Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Limitations of Neural Collapse for Understanding Generalization in Deep
Learning [25.48346719747956]
パパヤン、ハン、ドノホの最近の研究は興味深い「ニューラル崩壊」現象を示した。
私たちのモチベーションは、この研究プログラムの上限を研究することです。
論文 参考訳（メタデータ） (2022-02-17T00:20:12Z) - An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。
このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。
また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
論文 参考訳（メタデータ） (2021-10-06T14:18:47Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse
in Imbalanced Training [39.137793683411424]
解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。
このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。
特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
論文 参考訳（メタデータ） (2021-01-29T17:37:17Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。