論文の概要: Neural Collapse in Deep Linear Network: From Balanced to Imbalanced Data

• arxiv url: http://arxiv.org/abs/2301.00437v1
• Date: Sun, 1 Jan 2023 16:29:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 14:07:44.802314
• Title: Neural Collapse in Deep Linear Network: From Balanced to Imbalanced Data
• Title（参考訳）: ディープリニアネットワークにおけるニューラル崩壊:バランスデータから不均衡データへ
• Authors: Hien Dang and Tan Nguyen and Tho Tran and Hung Tran and Nhat Ho
• Abstract要約: 現代のディープニューラルネットワークは、画像分類からゲームプレイまでのタスクにおいて超人的なパフォーマンスを実現している。 ニューラル崩壊」は、パパヤンらによって実証的に発見された。 一般平均二乗誤差 (MSE) とクロスエントロピー (CE) の損失に対して, ディープ線形ネットワークにおけるニューラル・コラプスの発生を証明した。
• 参考スコア（独自算出の注目度）: 9.648948237479011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep neural networks have achieved superhuman performance in tasks from image classification to game play. Surprisingly, these various complex systems with massive amounts of parameters exhibit the same remarkable structural properties in their last-layer features and classifiers across canonical datasets. This phenomenon is known as "Neural Collapse," and it was discovered empirically by Papyan et al. \cite{Papyan20}. Recent papers have theoretically shown the global solutions to the training network problem under a simplified "unconstrained feature model" exhibiting this phenomenon. We take a step further and prove the Neural Collapse occurrence for deep linear network for the popular mean squared error (MSE) and cross entropy (CE) loss. Furthermore, we extend our research to imbalanced data for MSE loss and present the first geometric analysis for Neural Collapse under this setting.
• Abstract（参考訳）: 現代のディープニューラルネットワークは、画像分類からゲームプレイまでのタスクで超人的なパフォーマンスを達成している。 驚くべきことに、大量のパラメータを持つこれらの複雑なシステムは、最終層の特徴と標準データセット全体にわたる分類器において、同じ顕著な構造特性を示す。 この現象は"Neural Collapse"と呼ばれ、パパヤンらによって実験的に発見された。 通称「Papyan20」。 近年の論文は、この現象を示す単純化された「制約なし特徴モデル」の下で、トレーニングネットワーク問題に対するグローバルな解決策を理論的に示している。 一般の平均二乗誤差 (MSE) とクロスエントロピー (CE) の損失に対して, ディープ線形ネットワークにおけるニューラル・コラプス発生の証明を更に進める。 さらに,MSE損失のための不均衡データに研究を拡張し,この条件下でのニューラル崩壊の幾何学的解析を行った。

関連論文リスト

• Supervised Contrastive Representation Learning: Landscape Analysis with Unconstrained Features [33.703796571991745]
  最近の研究では、ゼロトレーニングを超えて訓練された過度パラメータ化されたディープニューラルネットワークが、最終層に特徴的な構造パターンを示すことが明らかになっている。 これらの結果から,これらのネットワークにおける最終層出力はクラス内変動が最小限であることがわかった。
  論文  参考訳（メタデータ） (2024-02-29T06:02:45Z)
• Neural Collapse for Cross-entropy Class-Imbalanced Learning with Unconstrained ReLU Feature Model [25.61363481391964]
  トレーニングデータセットがクラス不均衡である場合、いくつかのNeural Collapse(NC)プロパティはもはや真実ではない。 本稿では,制約のないReLU特徴量モデルの下で,NCを不均衡状態に一般化し,クロスエントロピー損失の低減を図る。 重みは,各クラスのトレーニングサンプル数によって異なるが,重みはスケールおよび集中型クラス平均値に一致していることがわかった。
  論文  参考訳（メタデータ） (2024-01-04T04:53:31Z)
• Neural Collapse for Unconstrained Feature Model under Cross-entropy Loss with Imbalanced Data [1.0152838128195467]
  クロスエントロピー損失関数の下での不均衡データに対するニューラル・コラプス(NC)現象の拡張について検討した。 私たちの貢献は、最先端の成果と比べて多角的です。
  論文  参考訳（メタデータ） (2023-09-18T12:45:08Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features [38.05002597295796]
  簡易等角密閉フレーム(ETF)の頂点に崩壊する崩壊層 興味深い経験的現象が、タスクのためのディープニューラルネットワークの最後の層と特徴で広く観測されている。
  論文  参考訳（メタデータ） (2022-03-02T17:00:18Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path [11.181590224799224]
  最近の研究は、今日のディープネットトレーニングパラダイムで広範に発生するNeural Collapse(NC)と呼ばれる現象を発見した。 本研究では、3つの原型ネットワークと5つの標準データセットの実験的観測を報告し、MSE-NCの実証的現実を確立した。 我々は、制約のない特徴モデルにおいて、完全なニューラル崩壊を予測するクローズドフォームダイナミクスを生成する。
  論文  参考訳（メタデータ） (2021-06-03T18:31:41Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。