論文の概要: Generalized Neural Collapse for a Large Number of Classes

• arxiv url: http://arxiv.org/abs/2310.05351v3
• Date: Fri, 27 Oct 2023 14:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 16:38:22.743425
• Title: Generalized Neural Collapse for a Large Number of Classes
• Title（参考訳）: 多数のクラスに対する一般化された神経崩壊
• Authors: Jiachen Jiang, Jinxin Zhou, Peng Wang, Qing Qu, Dustin Mixon, Chong You and Zhihui Zhu
• Abstract要約: 本研究では,実用的な深層ニューラルネットワークにおける一般化された神経崩壊の発生を実証するための実証的研究を行う。 球面制約のある非拘束特徴モデルの下で、一般化された神経崩壊が確実に発生することを示す理論的研究を行う。
• 参考スコア（独自算出の注目度）: 33.46269920297418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural collapse provides an elegant mathematical characterization of learned last layer representations (a.k.a. features) and classifier weights in deep classification models. Such results not only provide insights but also motivate new techniques for improving practical deep models. However, most of the existing empirical and theoretical studies in neural collapse focus on the case that the number of classes is small relative to the dimension of the feature space. This paper extends neural collapse to cases where the number of classes are much larger than the dimension of feature space, which broadly occur for language models, retrieval systems, and face recognition applications. We show that the features and classifier exhibit a generalized neural collapse phenomenon, where the minimum one-vs-rest margins is maximized.We provide empirical study to verify the occurrence of generalized neural collapse in practical deep neural networks. Moreover, we provide theoretical study to show that the generalized neural collapse provably occurs under unconstrained feature model with spherical constraint, under certain technical conditions on feature dimension and number of classes.
• Abstract（参考訳）: 神経崩壊は、深層分類モデルにおける学習された最終層表現(つまり特徴)と分類器重みのエレガントな数学的特徴を与える。 このような結果は洞察を与えるだけでなく、実用的な深層モデルを改善するための新しいテクニックを動機付ける。 しかしながら、ニューラル崩壊における既存の経験的および理論的研究のほとんどは、クラス数が特徴空間の次元に対して小さい場合に焦点を当てている。 本稿では, 言語モデル, 検索システム, 顔認識アプリケーションにおいて広く発生する特徴空間の次元よりも, クラス数がはるかに大きい場合まで, 神経崩壊を拡大する。 この特徴と分類器は, 1-vs-restマージンの最小値が最大となる一般化神経崩壊現象を示し, 実用深層ニューラルネットワークにおける一般化神経崩壊の発生を実証するための実証的研究を行った。 さらに, 一般化された神経崩壊は, 球面制約のある非拘束特徴モデルの下で, 特徴量やクラス数に関する特定の技術的条件下で, 確実に発生することを示す理論的研究を行った。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• The Impact of Geometric Complexity on Neural Collapse in Transfer Learning [6.554326244334867]
  損失面の平坦さと神経崩壊は、最近、有用な事前学習指標として現れている。 実験と理論を通じて、事前学習されたネットワークの幾何学的複雑さに影響を与えるメカニズムが神経崩壊に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2024-05-24T16:52:09Z)
• A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes [49.32130498861987]
  本稿ではReLUのような非微分可能活性化関数の事例について検討する。 最近の2つの研究は、ニューラルネットワークを研究するための幾何学的枠組みを導入した。 本稿では,画像の分類と熱力学問題に関する数値実験を行った。
  論文  参考訳（メタデータ） (2024-04-09T08:11:46Z)
• Neural Dependencies Emerging from Learning Massive Categories [94.77992221690742]
  この研究は、大規模画像分類のために学んだニューラルネットワークに関する2つの驚くべき発見を示す。 1) 十分に訓練されたモデルが与えられた場合、いくつかのカテゴリで予測されたロジットは、他のいくつかのカテゴリの予測を線形に組み合わせることで直接得ることができる。 2) 神経依存は1つのモデルに留まらず、2つの独立した学習モデルの間にさえ存在する。
  論文  参考訳（メタデータ） (2022-11-21T09:42:15Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Neural Collapse with Normalized Features: A Geometric Analysis over the Riemannian Manifold [30.3185037354742]
  分類タスクのための正規化されたディープネットワーク上でのトレーニングでは、学習された特徴はいわゆる「神経崩壊」現象を示す。 特徴正規化により、より良い表現をより早く学習できることが示される。
  論文  参考訳（メタデータ） (2022-09-19T17:26:32Z)
• Memorization-Dilation: Modeling Neural Collapse Under Label Noise [10.134749691813344]
  ディープニューラルネットワークをトレーニングする最終フェーズでは、同じクラスのすべての例の特徴埋め込みが単一の表現に崩壊する傾向にある。 経験的証拠は、ノイズのあるデータポイントの記憶が神経崩壊の劣化(拡散)を引き起こすことを示唆している。 実験により, ラベルの平滑化が正規化効果を生み出すために経験的に観察された交叉エントロピーの修正が, 分類タスクの一般化に繋がることを示す。
  論文  参考訳（メタデータ） (2022-06-11T13:40:37Z)
• On the Role of Neural Collapse in Transfer Learning [29.972063833424215]
  近年,多くのクラスにまたがる単一分類器で学習した表現は,数発の学習問題において競合することが示された。 神経崩壊は、トレーニングクラスからの新しいサンプルに一般化され、さらに重要なことは、新しいクラスにも一般化されます。
  論文  参考訳（メタデータ） (2021-12-30T16:36:26Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Exploring Deep Neural Networks via Layer-Peeled Model: Minority Collapse in Imbalanced Training [39.137793683411424]
  解析的に抽出できない最適化プログラムである textitLayer-Peeled Model を導入する。 このモデルでは,よく訓練されたネットワークの特徴の多くを継承し,ディープラーニング学習の一般的な経験的パターンを説明・予測するための効果的なツールを提供する。 特に,本モデルでは,テキストマイノリティ崩壊(textitMinority Collapse)という,マイノリティクラスにおけるディープラーニングモデルの性能を根本的に制限する未知の現象が明らかにされている。
  論文  参考訳（メタデータ） (2021-01-29T17:37:17Z)
• Hyperbolic Neural Networks++ [66.16106727715061]
  ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。 実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
  論文  参考訳（メタデータ） (2020-06-15T08:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。