論文の概要: Stochastic learning flow: moment equations for stochastic gradient descent at finite step size

• arxiv url: http://arxiv.org/abs/2611.00473v1
• Date: Fri, 30 Oct 2026 23:57:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:31:59.903203
• Title: Stochastic learning flow: moment equations for stochastic gradient descent at finite step size
• Title（参考訳）: 確率学習流:有限ステップにおける確率勾配降下のモーメント方程式
• Abstract要約: 深層ネットワークにおける学習の分析理論は、勾配流を仮定し、勾配降下の有限ステップサイズとバッチノイズを捨てることが多い。 共分散と損失曲率によって正則化された有効損失を平均が下降するのに対し、微分方程式近似とは異なり、共分散は曲率2/$で不安定となる。 線形および非線形ネットワークのSGDアンサンブルにおいて、SLFは学習曲線と平均軌跡を勾配流よりも正確に予測し、パラメータ分布がガウス的でない場合の共分散ダイナミクスを捉える。
• 参考スコア（独自算出の注目度）: 6.121672149931253
• License:
• Abstract: Analytical theories of learning in deep networks often assume gradient flow, discarding the finite step size and batch noise of stochastic gradient descent (SGD). Starting from the discrete update, we derive continuous-time equations for the mean and covariance of the parameter distribution under a Gaussian closure for a general stochastic learning, to first order in the learning rate $η$. Applying these stochastic learning flow (SLF) equations to SGD, we show that the mean descends an effective loss regularized by the covariance and loss curvature, while the covariance, unlike in stochastic differential equation approximations, becomes unstable at curvature $2/η$. In SGD ensembles of linear and nonlinear networks, SLF predicts learning curves and mean trajectories more accurately than gradient flow and captures the covariance dynamics, failing where the parameter distribution becomes strongly non-Gaussian. In the full-batch limit, the edge of stability corresponds to a stationary point of the coupled sharpness-covariance dynamics, recovering self-stabilization and central flow, and batch-to-batch curvature fluctuations lower this threshold under SGD.
• Abstract（参考訳）: 深層ネットワークにおける学習の分析理論は、確率勾配降下(SGD)の有限ステップサイズとバッチノイズを捨てて勾配流を仮定することが多い。 離散的な更新から、一般確率学習におけるガウス閉包の下でのパラメータ分布の平均と共分散に対する連続時間方程式を学習率$η$で導出する。 これらの確率的学習流(SLF)方程式をSGDに適用すると、平均は共分散と損失曲率によって正則化された有効損失を下降し、共分散は確率微分方程式の近似とは異なり、曲率2/η$で不安定となる。 線形および非線形ネットワークのSGDアンサンブルにおいて、SLFは学習曲線と平均軌跡を勾配流よりも正確に予測し、パラメータ分布がガウス的でない場合の共分散ダイナミクスを捉える。 フルバッチ限界では、安定性の端は、結合されたシャープネス-共分散ダイナミクスの定常点に対応し、自己安定化と中心流を回復し、バッチ・ツー・バッチの曲率変動は、SGDの下でこの閾値を下げる。

関連論文リスト

• LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction [59.32834240526981]
  フローベース生成モデルは典型的には、決定論的常微分方程式(ODE)を解くことによってサンプリングされる 既存の流れモデルのためのGRPO法は、訓練中にオイラー時間ODEを非等方微分方程式(SDE)に置き換える。 本稿では,フローベースGRPOフレームワークであるLC-GRPOを紹介する。
  論文  参考訳（メタデータ） (2026-08-06T04:47:57Z)
• Stochastic Gradient Descent in the Saddle-to-Saddle Regime of Deep Linear Networks [74.46751089984072]
  深い線形ネットワークにおける勾配降下(SGD)ノイズの理解は不十分である。 本研究では,サドル・アンド・サドル体制におけるDLNの訓練におけるSGDの動態について検討した。 以上の結果から,SGDノイズは特徴学習の進行に関する情報を符号化するが,サドル・アンド・サドル・ダイナミクスを根本的に変えるものではないことが判明した。
  論文  参考訳（メタデータ） (2026-04-07T18:43:08Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Stochastic Modified Flows, Mean-Field Limits and Dynamics of Stochastic Gradient Descent [1.2031796234206138]
  そこで我々は,修正フローと呼ばれる小学習率体系における勾配降下に対する新しい制限ダイナミクスを提案する。 これらのSDEは円筒状ブラウン運動によって駆動され、正規拡散係数を持ち、多点統計値に一致することによって、いわゆる修正方程式を改善する。
  論文  参考訳（メタデータ） (2023-02-14T15:33:59Z)
• A PDE-based Explanation of Extreme Numerical Sensitivities and Edge of Stability in Training Neural Networks [12.355137704908042]
  勾配降下型深層ネットワーク(SGD)の現在の訓練実践における抑制的数値不安定性を示す。 我々は、偏微分方程式(PDE)の数値解析を用いて理論的枠組みを提示し、畳み込みニューラルネットワーク(CNN)の勾配降下PDEを分析する。 これはCNNの降下に伴う非線形PDEの結果であり、離散化のステップサイズを過度に運転すると局所線形化が変化し、安定化効果がもたらされることを示す。
  論文  参考訳（メタデータ） (2022-06-04T14:54:05Z)
• Continuous-time stochastic gradient descent for optimizing over the stationary distribution of stochastic differential equations [7.65995376636176]
  定常分布の微分方程式(SDE)モデルを最適化するための新しい連続時間勾配降下法を開発した。 線形SDEモデルに対するオンライン前方伝播アルゴリズムの収束性を厳密に証明し、非線形例に対する数値結果を示す。
  論文  参考訳（メタデータ） (2022-02-14T11:45:22Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。