論文の概要: Emergent Low-Rank Training Dynamics in MLPs with Smooth Activations

• arxiv url: http://arxiv.org/abs/2602.06208v1
• Date: Thu, 05 Feb 2026 21:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.119119
• Title: Emergent Low-Rank Training Dynamics in MLPs with Smooth Activations
• Title（参考訳）: Smooth Activation を有するMLPの創発的低ランクトレーニングダイナミクス
• Authors: Alec S. Xu, Can Yaras, Matthew Asato, Qing Qu, Laura Balzano,
• Abstract要約: 最近の経験的証拠は、大規模深層ニューラルネットワークのトレーニング力学が低次元部分空間内で起こることを証明している。 本稿では,多層パーセプトロン(MLP)の降下(GD)下での学習動態を解析する。 重み力学は、トレーニングを通して不変な低次元部分空間に集中することを実証する。
• 参考スコア（独自算出の注目度）: 14.896223045496301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent empirical evidence has demonstrated that the training dynamics of large-scale deep neural networks occur within low-dimensional subspaces. While this has inspired new research into low-rank training, compression, and adaptation, theoretical justification for these dynamics in nonlinear networks remains limited. %compared to deep linear settings. To address this gap, this paper analyzes the learning dynamics of multi-layer perceptrons (MLPs) under gradient descent (GD). We demonstrate that the weight dynamics concentrate within invariant low-dimensional subspaces throughout training. Theoretically, we precisely characterize these invariant subspaces for two-layer networks with smooth nonlinear activations, providing insight into their emergence. Experimentally, we validate that this phenomenon extends beyond our theoretical assumptions. Leveraging these insights, we empirically show there exists a low-rank MLP parameterization that, when initialized within the appropriate subspaces, matches the classification performance of fully-parameterized counterparts on a variety of classification tasks.
• Abstract（参考訳）: 最近の経験的証拠は、大規模深層ニューラルネットワークのトレーニング力学が低次元部分空間内で起こることを証明している。 これは低ランクトレーニング、圧縮、適応に関する新しい研究にインスピレーションを与えたが、非線形ネットワークにおけるこれらの力学の理論的正当性は依然として限られている。 %であった。 このギャップに対処するために, 勾配降下(GD)下での多層パーセプトロン(MLP)の学習動態を解析した。 重み力学は、トレーニングを通して不変な低次元部分空間に集中することを実証する。 理論的には、スムーズな非線形アクティベーションを持つ2層ネットワークに対して、これらの不変部分空間を正確に特徴付け、それらの出現について考察する。 実験的に、この現象が我々の理論的な仮定を超えて広がることを検証した。 これらの知見を生かして、適切な部分空間内で初期化されると、様々な分類タスクにおいて、完全にパラメータ化されたサブ空間の分類性能と一致する、低ランクなMLPパラメータ化が存在することを実証的に示す。

関連論文リスト

• Gradient flow for deep equilibrium single-index models [32.2015869030351]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、無限に深い重み付きニューラルネットワークをトレーニングするための強力なパラダイムとして登場した。 線形モデルと単一インデックスモデルの簡単な設定でDECの勾配勾配勾配ダイナミクスを厳密に研究する。 次に、線形DQと深い平衡単インデックスモデルに対する大域最小化器への勾配勾配勾配の線形収束を証明した。
  論文  参考訳（メタデータ） (2025-11-21T06:14:41Z)
• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• An Analytical Characterization of Sloppiness in Neural Networks: Insights from Linear Models [18.99511760351873]
  近年の研究では、複数の深層ニューラルネットワークのトレーニング軌道が、驚くほど低次元の「ハイパーリボン様」多様体上で進化することが示されている。 深層ネットワークと線形ネットワークの訓練軌跡の類似性から着想を得て,この現象を後者に対して解析的に特徴付ける。 この低次元多様体の幾何学は, (i) トレーニングデータの入力相関行列の固有値の減衰率, (ii) トレーニング開始時の接地トラスト出力の相対スケール, (iii) 勾配勾配のステップ数によって制御されることを示す。
  論文  参考訳（メタデータ） (2025-05-13T19:20:19Z)
• An Overview of Low-Rank Structures in the Training and Adaptation of Large Models [52.67110072923365]
  近年の研究では、低ランク構造の出現というディープネットワークの広範な現象が明らかになった。 これらの暗黙の低次元パターンは、トレーニングの効率と微調整された大規模モデルを改善するための貴重な洞察を提供する。 深層学習のための低ランク構造の利用の進歩を概観し,その数学的基礎に光を当てる。
  論文  参考訳（メタデータ） (2025-03-25T17:26:09Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• SGD with Large Step Sizes Learns Sparse Features [22.959258640051342]
  本稿では、ニューラルネットワークのトレーニングにおいて、グラディエント・ディフレッシュ(SGD)のダイナミクスの重要な特徴を紹介する。 より長いステップサイズでは、損失ランドスケープにおいてSGDは高く保たれ、暗黙の正規化がうまく機能し、スパース表現を見つけることができる。
  論文  参考訳（メタデータ） (2022-10-11T11:00:04Z)
• Tractable Dendritic RNNs for Reconstructing Nonlinear Dynamical Systems [7.045072177165241]
  線形スプラインベース展開により、片方向線形リカレントニューラルネットワーク(RNN)を増強する。 このアプローチは単純な PLRNN の理論的に魅力的な性質を全て保持するが、相対的に低次元の任意の非線形力学系を近似する能力は向上する。
  論文  参考訳（メタデータ） (2022-07-06T09:43:03Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。