論文の概要: Progressive Feedforward Collapse of ResNet Training

• arxiv url: http://arxiv.org/abs/2405.00985v1
• Date: Thu, 2 May 2024 03:48:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 17:54:29.176854
• Title: Progressive Feedforward Collapse of ResNet Training
• Title（参考訳）: ResNetトレーニングの進歩的フィードフォワード崩壊
• Authors: Sicong Wang, Kuo Gai, Shihua Zhang,
• Abstract要約: トレーニング中の最終層の特徴とデータおよび中間層との関係について検討する。 重み減衰したResNetが終位相のワッサーシュタイン空間の測地線曲線を近似するので、よく訓練されたResNetのモデルを導出する。 本研究ではNCをPFCに拡張し、中間層の崩壊現象と入力データへの依存性をモデル化し、分類問題におけるResNetの理論的理解に光を当てる。
• 参考スコア（独自算出の注目度）: 7.824226954174748
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural collapse (NC) is a simple and symmetric phenomenon for deep neural networks (DNNs) at the terminal phase of training, where the last-layer features collapse to their class means and form a simplex equiangular tight frame aligning with the classifier vectors. However, the relationship of the last-layer features to the data and intermediate layers during training remains unexplored. To this end, we characterize the geometry of intermediate layers of ResNet and propose a novel conjecture, progressive feedforward collapse (PFC), claiming the degree of collapse increases during the forward propagation of DNNs. We derive a transparent model for the well-trained ResNet according to that ResNet with weight decay approximates the geodesic curve in Wasserstein space at the terminal phase. The metrics of PFC indeed monotonically decrease across depth on various datasets. We propose a new surrogate model, multilayer unconstrained feature model (MUFM), connecting intermediate layers by an optimal transport regularizer. The optimal solution of MUFM is inconsistent with NC but is more concentrated relative to the input data. Overall, this study extends NC to PFC to model the collapse phenomenon of intermediate layers and its dependence on the input data, shedding light on the theoretical understanding of ResNet in classification problems.
• Abstract（参考訳）: ニューラル崩壊(Neural collapse, NC)は、訓練の最終段階におけるディープニューラルネットワーク(DNN)の単純で対称的な現象であり、最終層の特徴はクラス平均に崩壊し、分類器ベクトルと整合した単純な等角形のタイトフレームを形成する。 しかし、トレーニング中の最終層の特徴とデータと中間層との関係は未解明のままである。 この目的のために、我々はResNetの中間層の幾何学を特徴付け、DNNの前方伝播中に崩壊の程度が増加するという新しい予想であるプログレッシブフィードフォワード崩壊(PFC)を提案する。 重み減衰したResNetは終端位相におけるワッサーシュタイン空間の測地線曲線を近似するので、よく訓練されたResNetに対して透明なモデルを導出する。 PFCのメトリクスは、確かに様々なデータセットの深さにわたって単調に減少する。 本稿では,中間層を最適輸送正規化器で接続する新しいサロゲートモデル,multilayer unconstrained feature model (MUFM)を提案する。 MUFMの最適解はNCと矛盾するが、入力データに対してより集中している。 本研究は、NCからPFCに拡張し、中間層の崩壊現象と入力データへの依存性をモデル化し、分類問題におけるResNetの理論的理解に光を当てる。

関連論文リスト

• Neural Collapse in Deep Linear Networks: From Balanced to Imbalanced Data [12.225207401994737]
  大量のパラメータを持つ複雑な系は、収束するまでのトレーニングで同じ構造を持つことを示す。 特に、最終層の特徴がクラス平均に崩壊することが観察されている。 本結果は,最終層の特徴と分類器をベクトルからなる幾何学へ収束させることを示す。
  論文  参考訳（メタデータ） (2023-01-01T16:29:56Z)
• Understanding and Improving Transfer Learning of Deep Models via Neural Collapse [37.483109067209504]
  分類問題に対する神経崩壊(NC)と伝達学習の関係について検討する。 機能崩壊と下流のパフォーマンスには強い相関関係がある。 提案手法は, 微調整パラメータを90%以上削減しつつ, 優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-23T08:48:34Z)
• Measurement-Consistent Networks via a Deep Implicit Layer for Solving Inverse Problems [0.0]
  エンドツーエンドのディープニューラルネットワーク(DNN)は、逆問題を解決するための最先端のSOTA(State-of-the-art)になっている。 これらのネットワークは、トレーニングパイプラインの小さなバリエーションに敏感であり、小さなが重要な詳細を再構築することができないことが多い。 本稿では,逆問題に対して任意のDNNを計測一貫性に変換するフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-06T17:05:04Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Extended Unconstrained Features Model for Exploring Deep Neural Collapse [59.59039125375527]
  近年、ディープニューラルネットワークで「神経崩壊」(NC)と呼ばれる現象が経験的に観察されている。 最近の論文は、単純化された「制約なし特徴モデル」を最適化する際に、この構造を持つ最小化器が出現することを示している。 本稿では, 正規化MSE損失に対するUDFについて検討し, クロスエントロピーの場合よりも最小化器の特徴がより構造化可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-16T14:17:37Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Neural Collapse Under MSE Loss: Proximity to and Dynamics on the Central Path [11.181590224799224]
  最近の研究は、今日のディープネットトレーニングパラダイムで広範に発生するNeural Collapse(NC)と呼ばれる現象を発見した。 本研究では、3つの原型ネットワークと5つの標準データセットの実験的観測を報告し、MSE-NCの実証的現実を確立した。 我々は、制約のない特徴モデルにおいて、完全なニューラル崩壊を予測するクローズドフォームダイナミクスを生成する。
  論文  参考訳（メタデータ） (2021-06-03T18:31:41Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。