論文の概要: A Nonlinear Time-Series Theory for Constant-step SGD with Momentum

• arxiv url: http://arxiv.org/abs/2610.16034v1
• Date: Mon, 12 Oct 2026 01:07:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 07:58:41.467026
• Title: A Nonlinear Time-Series Theory for Constant-step SGD with Momentum
• Title（参考訳）: モーメント付き定数ステップSGDの非線形時系列理論
• Abstract要約: 運動量を伴う定段勾配降下(SGDM)は、過去の勾配の幾何的に減衰するメモリを持つ運動量状態でパラメータ再帰を増大させる。 我々はその定常挙動と分布限界の枠組みを開発する。
• 参考スコア（独自算出の注目度）: 3.0204520109309847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constant-step stochastic gradient descent with momentum (SGDM) augments the parameter recursion with a momentum state that carries geometrically decaying memory of past stochastic gradients. We study this coupled recursion as a nonlinear time series and develop a framework for its stationary behavior and distributional limits. The joint parameter-momentum process forgets its initialization geometrically under a finite $p$th moment for $p > 1$, yielding a unique stationary causal solution. Under a second-moment condition, this contraction leads to an invariance principle and quenched Gaussian limit for averaged SGDM, while a small-learning-rate analysis gives a Gaussian limit for the last iterate. In a stochastic-curvature quadratic model, we further study how the rate of initialization forgetting relates to stationary variance and averaged fluctuations.
• Abstract（参考訳）: 運動量を伴う定段確率勾配降下(SGDM)は、過去の確率勾配の幾何的に減衰するメモリを含む運動量状態でパラメータ再帰を増大させる。 本研究では、この結合再帰を非線形時系列として研究し、その定常挙動と分布限界の枠組みを開発する。 結合パラメタ-モーメント過程は、その初期化を有限$p$thのモーメントで$p > 1$で幾何学的に忘れ、ユニークな定常因果解をもたらす。 第二モーメント条件の下では、この収縮は、平均的なSGDMに対する不変原理と焼き上げされたガウス極限を導き、一方、小学習率解析は最後の反復に対してガウス極限を与える。 確率-曲率2次モデルでは、初期化を忘れる確率が定常変動と平均変動にどのように関係するかをさらに研究する。

関連論文リスト

• Limit Theory for Online Expectile Estimation under Short and Long Range Dependence [3.0204520109309847]
  本研究では,定常因果過程の限界期待値を推定するために,定常学習率$$1-pass,gradient-gradient理論について検討した。 複数の期待レベルに対する結合長メモリ制限を導出し、その制限共分散構造を特徴づける。 様々な数値実験は、予測されたガウス近似と状態固有のゆらぎスケールを相関させる。
  論文  参考訳（メタデータ） (2026-10-12T00:55:44Z)
• Gradient-Free Sampling from Generative Models via Stochastic Bounded Extremum Seeking [51.56484100374058]
  本研究では,エネルギーおよびスコアに基づく生成モデルに対して,勾配評価を必要としないサンプリング手法を提案する。 我々は、エネルギーベースモデルとスコアベース拡散の逆時間SDEのために、Langevin Markov チェーン Monte Carlo を高周波平均化極限で生成する。
  論文  参考訳（メタデータ） (2026-10-03T15:03:45Z)
• Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
  本研究では, 勾配勾配勾配(SGD)を一定のステップサイズで解くことで, 密接な凸と滑らかな問題を解く問題に対処する。 得られた推定子の平均二乗誤差を、反復数$n$に対して拡張する。 我々の分析は、時相マルコフ連鎖と見なされるSGDの特性に依存している。
  論文  参考訳（メタデータ） (2024-10-07T15:02:48Z)
• Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models [8.555650549124818]
  本稿では,線形回帰における勾配勾配勾配(SGD)のオンライン推論とドロップアウト正規化を反復する理論を提案する。 十分に大きなサンプルの場合,ASGDの投棄による信頼区間は,名目カバレッジの確率をほぼ達成している。
  論文  参考訳（メタデータ） (2024-09-11T17:28:38Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression [122.70478935214128]
  勾配降下(SGD)は、多くのディープラーニングアプリケーションでよく一般化されている。 本稿では, 崩壊段階のSGDの最終反復リスク境界に関する問題依存解析を行う。
  論文  参考訳（メタデータ） (2021-10-12T17:49:54Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。