論文の概要: Limitations of Neural Collapse for Understanding Generalization in Deep Learning

• arxiv url: http://arxiv.org/abs/2202.08384v1
• Date: Thu, 17 Feb 2022 00:20:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 14:28:37.605789
• Title: Limitations of Neural Collapse for Understanding Generalization in Deep Learning
• Title（参考訳）: 深層学習における一般化理解のための神経崩壊の限界
• Authors: Like Hui, Mikhail Belkin, Preetum Nakkiran
• Abstract要約: パパヤン、ハン、ドノホの最近の研究は興味深い「ニューラル崩壊」現象を示した。 私たちのモチベーションは、この研究プログラムの上限を研究することです。
• 参考スコア（独自算出の注目度）: 25.48346719747956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent work of Papyan, Han, & Donoho (2020) presented an intriguing "Neural Collapse" phenomenon, showing a structural property of interpolating classifiers in the late stage of training. This opened a rich area of exploration studying this phenomenon. Our motivation is to study the upper limits of this research program: How far will understanding Neural Collapse take us in understanding deep learning? First, we investigate its role in generalization. We refine the Neural Collapse conjecture into two separate conjectures: collapse on the train set (an optimization property) and collapse on the test distribution (a generalization property). We find that while Neural Collapse often occurs on the train set, it does not occur on the test set. We thus conclude that Neural Collapse is primarily an optimization phenomenon, with as-yet-unclear connections to generalization. Second, we investigate the role of Neural Collapse in feature learning. We show simple, realistic experiments where training longer leads to worse last-layer features, as measured by transfer-performance on a downstream task. This suggests that neural collapse is not always desirable for representation learning, as previously claimed. Finally, we give preliminary evidence of a "cascading collapse" phenomenon, wherein some form of Neural Collapse occurs not only for the last layer, but in earlier layers as well. We hope our work encourages the community to continue the rich line of Neural Collapse research, while also considering its inherent limitations.
• Abstract（参考訳）: papyan, han, & donoho (2020) の最近の研究は興味深い「神経崩壊」現象を示し、訓練の後期における補間分類器の構造的特性を示した。 この研究は、この現象の研究の豊富な領域を開拓した。 私たちのモチベーションは、この研究プログラムの上限を研究することにあります。 まず,一般化におけるその役割について検討する。 我々はニューラル・コラプス予想を2つの別々の予想に洗練する: 列車集合上の崩壊(最適化特性)と試験分布上の崩壊(一般化特性)である。 ニューラル・コラプスは列車のセットで発生することが多いが、テストセットでは発生しない。 したがって、神経崩壊は主として最適化現象であり、一般化と無明なつながりを持つと結論づける。 次に,機能学習における神経崩壊の役割について検討する。 ダウンストリームタスクの転送性能によって測定されるように、トレーニングがより長くなるような、シンプルで現実的な実験を行う。 これは、前述したように、神経崩壊が表現学習に必ずしも望ましいわけではないことを示唆している。 最後に、「カスケード崩壊」現象の予備的証拠として、最後の層だけでなく、初期の層にも何らかの形態のニューラル崩壊が起こる。 私たちの研究は、Neural Collapse研究の豊富なラインを継続し、その固有の制限を考慮しながら、コミュニティを奨励することを願っています。

関連論文リスト

• Neural Collapse versus Low-rank Bias: Is Deep Neural Collapse Really Optimal? [21.05674840609307]
  ディープニューラルネットワーク(DNN)は、ニューラル崩壊(NC)と呼ばれる最終層に驚くべき構造を示す 多クラス分類において、任意の深さの非線形モデルに焦点をあて、驚くべき定性的シフトを明らかにする。 主な原因は、多層正規化スキームの低ランクバイアスである。
  論文  参考訳（メタデータ） (2024-05-23T11:55:49Z)
• Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse [19.279084204631204]
  我々はニューラル・コラプスの調査を、不均衡な属性を持つバイアス付きデータセットに拡張する。 追加の訓練複雑性を伴わない回避ショートカット学習フレームワークを提案する。 ニューラル・コラプス構造に基づくよく設計されたショートカット素数では、モデルは単純なショートカットの追求を省略することが推奨される。
  論文  参考訳（メタデータ） (2024-05-09T07:23:37Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• On the Robustness of Neural Collapse and the Neural Collapse of Robustness [6.227447957721122]
  ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。 これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。 我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
  論文  参考訳（メタデータ） (2023-11-13T16:18:58Z)
• Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges [132.62934175555145]
  Neural Collapse(NC)は、トレーニング末期(TPT)におけるディープニューラルネットワークのよく知られた現象である 本稿では,列車の精度が100%に達した後も,継続訓練がテストセットの精度向上に繋がる理由を理論的に説明する。 我々はこの新たに発見された性質を「非保守的一般化」と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-12T14:29:02Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Neural Collapse: A Review on Modelling Principles and Generalization [0.0]
  神経崩壊は基本的に、最終隠蔽層出力のクラス内変動が無限小である状態を表す。 この状態の単純さにもかかわらず、それに到達するための力学と意味はまだ完全には理解されていない。
  論文  参考訳（メタデータ） (2022-06-08T17:55:28Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• Neural collapse with unconstrained features [4.941630596191806]
  神経崩壊も経験的に発生する,単純な「制約のない特徴モデル」を提案する。 このモデルを研究することによって、経験的リスクの景観の観点から、神経崩壊の発生について、いくつかの説明を提供する。
  論文  参考訳（メタデータ） (2020-11-23T18:49:36Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。