論文の概要: Limit Theorems for Stochastic Gradient Descent in High-Dimensional Single-Layer Networks

• arxiv url: http://arxiv.org/abs/2511.02258v1
• Date: Tue, 04 Nov 2025 04:52:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.81351
• Title: Limit Theorems for Stochastic Gradient Descent in High-Dimensional Single-Layer Networks
• Title（参考訳）: 高次元単層ネットワークにおける確率勾配勾配の極限定理
• Authors: Parsa Rangriz,
• Abstract要約: 単層ネットワークにおけるオンライン勾配勾配勾配(SGD)の高次元スケーリング限界について検討する。 本稿では,人口減少の流れに対応するSGDの決定論的(弾道的)スケーリング限界を解析したSaadとSollaの業績に基づく。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the high-dimensional scaling limits of online stochastic gradient descent (SGD) for single-layer networks. Building on the seminal work of Saad and Solla, which analyzed the deterministic (ballistic) scaling limits of SGD corresponding to the gradient flow of the population loss, we focus on the critical scaling regime of the step size. Below this critical scale, the effective dynamics are governed by ballistic (ODE) limits, but at the critical scale, new correction term appears that changes the phase diagram. In this regime, near the fixed points, the corresponding diffusive (SDE) limits of the effective dynamics reduces to an Ornstein-Uhlenbeck process under certain conditions. These results highlight how the information exponent controls sample complexity and illustrates the limitations of deterministic scaling limit in capturing the stochastic fluctuations of high-dimensional learning dynamics.
• Abstract（参考訳）: 本稿では,単層ネットワークにおけるオンライン確率勾配勾配勾配(SGD)の高次元スケーリング限界について検討する。 人口減少の勾配流に対応するSGDの決定論的(弾道的)スケーリング限界を解析したSaadとSollaの専門的な研究に基づいて、我々はステップサイズの重要なスケーリング体制に焦点を当てた。 この臨界スケールの下には、有効力学は弾道(ODE)の限界によって支配されるが、臨界スケールでは、位相図を変える新しい補正項が現れる。 この状態において、固定点付近では、実効力学の対応する微分(SDE)極限は特定の条件下でオルンシュタイン・ウレンベック過程に還元される。 これらの結果は,情報指数がサンプルの複雑さを制御し,高次元学習力学の確率的ゆらぎを捉える際の決定論的スケーリング限界の限界を示すものである。

関連論文リスト

• High-Dimensional Learning Dynamics of Quantized Models with Straight-Through Estimator [7.837881800517111]
  量子ニューラルネットワークトレーニングは、離散的で微分不可能な目的を最適化する。 ストレートスルー推定器(STE)は、サロゲート勾配によるバックプロパゲーションを可能にする。 理論的には、高次元極限において、STEダイナミクスは通常の決定論的微分方程式に収束する。
  論文  参考訳（メタデータ） (2025-10-12T16:43:46Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• On the Convergence of Gradient Descent for Large Learning Rates [55.33626480243135]
  固定ステップサイズを使用すると収束が不可能であることを示す。 正方形損失を持つ線形ニューラルネットワークの場合,これを証明した。 また、勾配に対するリプシッツ連続性のような強い仮定を必要とせず、より一般的な損失に対する収束の不可能性も証明する。
  論文  参考訳（メタデータ） (2024-02-20T16:01:42Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• From high-dimensional & mean-field dynamics to dimensionless ODEs: A unifying approach to SGD in two-layers networks [26.65398696336828]
  本書はガウスデータとラベルに基づいて訓練された2層ニューラルネットワークの1パス勾配降下(SGD)ダイナミクスについて検討する。 我々は、人口リスクに関する十分な統計量の観点から、決定論的かつ低次元の記述を通じて、制限力学を厳格に分析する。
  論文  参考訳（メタデータ） (2023-02-12T09:50:52Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• High-dimensional limit theorems for SGD: Effective dynamics and critical scaling [6.950316788263433]
  我々は、勾配降下(SGD)の要約統計の軌跡に対する極限定理を証明する。 下記の有効弾道力学が人口減少の勾配流と一致するステップサイズにおける重要なスケーリング体制を示す。 この実効力学の固定点について、対応する拡散極限は極めて複雑であり、さらに退化することもある。
  論文  参考訳（メタデータ） (2022-06-08T17:42:18Z)
• Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification [25.898873960635534]
  高次元景観を分類する単一層ニューラルネットワークにおける勾配降下(SGD)の閉学習ダイナミクスを解析する。 連続次元勾配流に拡張可能なプロトタイププロセスを定義する。 フルバッチ限界では、標準勾配流を回復する。
  論文  参考訳（メタデータ） (2020-06-10T22:49:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。