論文の概要: Finite Spectral Depth Controls Gaussian Entrance Rank and Avoidance of the First Gradient-Flow Saddle
- arxiv url: http://arxiv.org/abs/2611.05022v1
- Date: Tue, 03 Nov 2026 15:01:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 15:06:33.525767
- Title: Finite Spectral Depth Controls Gaussian Entrance Rank and Avoidance of the First Gradient-Flow Saddle
- Title（参考訳）: 有限スペクトル深度制御による第1勾配流れサドルのガウス進入ランクと回避
- Abstract要約: 行列分解は、ニューラルネットワークのトレーニングダイナミクスを研究するための簡単なモデルを提供する。
小規模な反復による勾配流の最近の研究は、軌道が原点付近からどのように脱出するかを分析している。
ニュートン・シュルツステップの数は、トレーニングの初期段階に選択されたランクを変えることができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Matrix factorization provides a simple model for studying the training dynamics of neural networks. Recent studies of gradient flow under small initialization have analyzed how trajectories escape from a neighborhood of the origin and approach their first nonzero stationary point. In this paper, we study continuous-time dynamics that applies a finite number of Newton-Schulz iterations to the normalized matrix gradient (Muon). We show that the number of Newton-Schulz steps can change the rank selected during the early stages of training and allow the resulting trajectory to bypass the first nonzero stationary point approached by gradient flow. Under an additional residual-inertia condition, we prove that bypass occurs for all sufficiently large finite Newton-Schulz depths and provide an explicit sufficient threshold. We also construct an example in which the bypass threshold is four.
- Abstract（参考訳）: 行列分解は、ニューラルネットワークのトレーニングダイナミクスを研究するための簡単なモデルを提供する。
小規模な初期化下での勾配流の最近の研究は、軌道が原点付近からどのように脱出し、その最初の非ゼロ定常点に近づくかを分析している。
本稿では,有限個のニュートン・シュルツ反復を正規化行列勾配 (Muon) に適用する連続時間ダイナミクスについて検討する。
ニュートン・シュルツステップの数は、トレーニングの初期段階に選択されたランクを変更でき、結果として得られる軌道は、勾配流に近づいた最初の非ゼロ定常点をバイパスできることを示す。
追加の残差慣性条件の下では、十分に大きなニュートン・シュルツ深さに対してバイパスが生じることを証明し、明確な十分なしきい値を与える。
また、バイパス閾値が 4 である例も構築する。
関連論文リスト
- Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin [1.9556053645976448]
近年の研究では、トレーニングの初期段階では、重量は小さく、起源に近いが、方向は収束していることが確認されている。
本稿では,リプシッツ勾配を持つ同質ニューラルネットワークの起点から逃れた後の勾配流れのダイナミクスについて検討する。
論文 参考訳（メタデータ） (2025-02-21T21:32:31Z) - Limit Theorems for Stochastic Gradient Descent with Infinite Variance [51.4853131023238]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。
また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文 参考訳（メタデータ） (2024-10-21T09:39:10Z) - On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
固定ステップサイズを使用すると収束が不可能であることを示す。
正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。
また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
論文 参考訳（メタデータ） (2024-02-20T16:01:42Z) - Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。
本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
論文 参考訳（メタデータ） (2023-04-17T20:59:49Z) - Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - Magnitude and Angle Dynamics in Training Single ReLU Neurons [45.886537625951256]
勾配フロー $w(t)$ を等級 $w(t)$ と角 $phi(t):= pi -theta(t) $ に分解する。
小型初期化は深い単一ReLUニューロンに対して緩やかな収束速度を誘導する。
論文 参考訳（メタデータ） (2022-09-27T13:58:46Z) - Gradient flow dynamics of shallow ReLU networks for square loss and
orthogonal inputs [19.401271427657395]
勾配降下法によるニューラルネットワークの訓練は、ディープラーニング革命の基盤となっている。
本稿では,1つのニューラルネットワークの小さな初期化における平均二乗誤差に対する勾配流のダイナミクスについて述べる。
論文 参考訳（メタデータ） (2022-06-02T09:01:25Z) - Continuous vs. Discrete Optimization of Deep Neural Networks [15.508460240818575]
均一な活性化を伴う深層ニューラルネットワーク上では、勾配流軌跡が良好な曲率を享受できることが示される。
この発見により、深い線形ニューラルネットワーク上の勾配流の解析を、勾配勾配が効率的に大域最小限に収束することを保証できる。
我々は、勾配流の理論が深層学習の背後にある謎の解き放つ中心となると仮定する。
論文 参考訳（メタデータ） (2021-07-14T10:59:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。