論文の概要: Stochastic Gradient Descent: A Nonlinear Time Series Perspective

• arxiv url: http://arxiv.org/abs/2610.20894v1
• Date: Wed, 14 Oct 2026 20:22:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.060624
• Title: Stochastic Gradient Descent: A Nonlinear Time Series Perspective
• Title（参考訳）: 確率的グラディエントDescent:非線形時系列視点
• Abstract要約: 本稿では、反復ランダム関数の枠組みの下で、一定のステップサイズを持つグラディエント・Descent (SGD) の統計的挙動について検討する。 SGDの幾何モーメント縮約(GMC)によりユークリッド距離の収束を示す。 また,SGDにおけるステップサイズの影響を理解するために,ステップサイズに関する微分を研究することによって,新たな視点を提供する。
• 参考スコア（独自算出の注目度）: 5.832625356858109
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the statistical behavior of Stochastic Gradient Descent (SGD) with constant step size under the framework of iterated random functions. Compared to previous studies establishing the convergence of SGD in probability measure, e.g., Wasserstein distance, our approach directly provides the convergence in Euclidean distance by showing the Geometric Moment Contraction (GMC) of SGD. This new convergence can address the non-stationarity of SGD due to fixed initial points and can provide a more refined asymptotic analysis of SGD. Specifically, we prove quenched central limit theorem, invariance principle and $α$-stable convergence for averaged SGD (ASGD) regardless of initialization. Furthermore, we provide a novel perspective to understand the impact of step sizes in SGD by studying its derivative with respect to the step size. The existence of stationary solutions for the derivative processes is shown, enabling the use of interpolation to recover the full-trajectory of SGD. Subsequently, we utilize multiple step sizes and show an enhanced Richardson-Romberg extrapolation with improved bias representation, which brings ASGD estimates closer to the global optimum. Finally, we propose a new online inference method and a bias-reduced variant for the extrapolated ASGD. Empirical confidence intervals are constructed and the coverage probabilities approach the nominal level as $n$ grows.
• Abstract（参考訳）: 本稿では,確率的勾配Descent (SGD) の統計的挙動を,反復的ランダム関数の枠組みの下で一定のステップサイズで検討する。 確率測度、例えばワッサーシュタイン距離におけるSGDの収束を確立する以前の研究と比較して、我々のアプローチは、SGDの幾何学的モーメント収縮(GMC)を示すことによってユークリッド距離の収束を直接提供する。 この新たな収束は、固定初期点によるSGDの非定常性に対処することができ、より洗練されたSGDの漸近解析を提供することができる。 具体的には、初期化にかかわらず、平均SGD (ASGD) に対する焼き入れ中央極限定理、不変原理、および$α$-stable収束を証明した。 さらに,SGDにおけるステップサイズの影響を理解するために,ステップサイズに関する微分を研究することによって,新たな視点を提供する。 導関数過程に対する定常解の存在を示し、補間を用いてSGDの全軌道を復元する。 その後、複数のステップサイズを利用し、改良されたバイアス表現を持つ拡張されたリチャードソン・ロームバーグ補間を示し、ASGD推定を大域的最適値に近づける。 最後に、外挿されたASGDに対して、新しいオンライン推論手法とバイアス低減版を提案する。 経験的信頼区間が構築され、カバー確率が名目レベルに近づくと、$n$が成長する。

関連論文リスト

• Gaussian Approximation and Multiplier Bootstrap for Stochastic Gradient Descent [14.19520637866741]
  信頼性セット構築のための乗算器ブートストラップの非漸近的妥当性を確立する。 我々は1/sqrtn$までの凸距離の近似レートを導出する。
  論文  参考訳（メタデータ） (2025-02-10T17:49:05Z)
• Stochastic Subgradient Methods with Guaranteed Global Stability in Nonsmooth Nonconvex Optimization [3.0586855806896045]
  まず、対応する微分包含物が強制的リャプノフ関数を許容する下次手法の一般的な枠組みについて検討する。 我々は,Lyapunov関数が非強制的であるような,幅広い下位段階の手法のグローバルな安定性を確立するためのフレームワークを提案するために,改良された分析法を開発した。
  論文  参考訳（メタデータ） (2023-07-19T15:26:18Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression [122.70478935214128]
  勾配降下(SGD)は、多くのディープラーニングアプリケーションでよく一般化されている。 本稿では, 崩壊段階のSGDの最終反復リスク境界に関する問題依存解析を行う。
  論文  参考訳（メタデータ） (2021-10-12T17:49:54Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)
• Convergence rates and approximation results for SGD and its continuous-time counterpart [16.70533901524849]
  本稿では,非増加ステップサイズを有する凸勾配Descent (SGD) の完全理論的解析を提案する。 まず、結合を用いた不均一微分方程式(SDE)の解により、SGDを確実に近似できることを示す。 連続的手法による決定論的および最適化手法の最近の分析において, 連続過程の長期的挙動と非漸近的境界について検討する。
  論文  参考訳（メタデータ） (2020-04-08T18:31:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。