Fugu-MT 論文翻訳(概要): Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds

論文の概要: Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds

arxiv url: http://arxiv.org/abs/2602.13960v1
Date: Sun, 15 Feb 2026 02:34:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-17 14:17:28.579892
Title: Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds
Title（参考訳）: 定段確率近似の定常挙動:ガウス近似とタイル境界
Authors: Zedong Wang, Yuyang Wang, Ijay Narang, Felix Wang, Yuzhou Wang, Siva Theja Maguluri,
Abstract要約: 定段近似(SA)は計算効率の学習に広く用いられている。以前の研究は、段数 $downarrow 0$ のとき中心とスケールの定常状態がガウス確率ベクトルに弱収束することを示していた。この論文は、固定された$に対して明示的で漸近的でないエラー境界を提供する。
参考スコア（独自算出の注目度）: 9.739744677824286
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Constant-stepsize stochastic approximation (SA) is widely used in learning for computational efficiency. For a fixed stepsize, the iterates typically admit a stationary distribution that is rarely tractable. Prior work shows that as the stepsize $α\downarrow 0$, the centered-and-scaled steady state converges weakly to a Gaussian random vector. However, for fixed $α$, this weak convergence offers no usable error bound for approximating the steady-state by its Gaussian limit. This paper provides explicit, non-asymptotic error bounds for fixed $α$. We first prove general-purpose theorems that bound the Wasserstein distance between the centered-scaled steady state and an appropriate Gaussian distribution, under regularity conditions for drift and moment conditions for noise. To ensure broad applicability, we cover both i.i.d. and Markovian noise models. We then instantiate these theorems for three representative SA settings: (1) stochastic gradient descent (SGD) for smooth strongly convex objectives, (2) linear SA, and (3) contractive nonlinear SA. We obtain dimension- and stepsize-dependent, explicit bounds in Wasserstein distance of order $α^{1/2}\log(1/α)$ for small $α$. Building on the Wasserstein approximation error, we further derive non-uniform Berry--Esseen-type tail bounds that compare the steady-state tail probability to Gaussian tails. We achieve an explicit error term that decays in both the deviation level and stepsize $α$. We adapt the same analysis for SGD beyond strongly convexity and study general convex objectives. We identify a non-Gaussian (Gibbs) limiting law under the correct scaling, which is validated numerically, and provide a corresponding pre-limit Wasserstein error bound.
Abstract（参考訳）: 定段確率近似(SA)は計算効率の学習に広く用いられている。固定的なステップサイズの場合、イテレートは通常、ほとんど引けない定常分布を許容する。以前の研究によると、段数 $α\downarrow 0$ のとき、中心とスケールの定常状態はガウス確率ベクトルに弱収束する。しかし、固定$α$の場合、この弱収束はガウス極限による定常状態の近似に使用可能な誤差を与えない。本稿では、固定された$α$に対して明示的で漸近的でない誤差境界を提供する。まず、中心スケールの定常状態と適切なガウス分布の間のワッサーシュタイン距離を、ドリフトとノイズのモーメント条件の規則性条件の下で拘束する一般の定理を証明した。広い適用性を確保するため、i.i.d.とマルコフ雑音モデルの両方をカバーする。次にこれらの定理を,(1)滑らかな凸対象に対する確率勾配降下(SGD),(2)線形SA,(3)収縮非線形SAの3つの代表的なSA設定に対してインスタンス化する。我々は、小さな$α$に対して、位数$α^{1/2}\log(1/α)$のワッサーシュタイン距離の次元および段数依存的、明示的境界を得る。ワッサーシュタイン近似誤差に基づいて、定常尾部確率をガウス尾部と比較する非一様ベリー-エッセイン型尾部境界を導出する。偏差レベルの両方で崩壊する明示的な誤差項を達成し、$α$を段階化する。我々は,SGDにおける同様の解析を,強い凸性を超えて適用し,一般凸目的について検討する。我々は、正しいスケーリングの下で非ガウス(ギブズ)制限法を同定し、数値的に検証し、対応する事前極限ワッサーシュタイン誤差境界を提供する。

関連論文リスト

Finite-Sample Wasserstein Error Bounds and Concentration Inequalities for Nonlinear Stochastic Approximation [6.800624963330628]
ワッサーシュタイン-$p$距離における非線形近似アルゴリズムの非漸近誤差境界を導出する。正規化された最後の繰り返しは、$p$-ワッサーシュタイン距離のガウス分布に階数$_n1/6$で収束することを示し、$_n$はステップサイズである。これらの分布保証は、モーメント境界やマルコフの不等式から得られるものより改善される高確率濃度の不等式を暗示する。
論文参考訳（メタデータ） (2026-02-02T18:41:06Z)
Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
本研究では, 勾配勾配勾配(SGD)を一定のステップサイズで解くことで, 密接な凸と滑らかな問題を解く問題に対処する。得られた推定子の平均二乗誤差を、反復数$n$に対して拡張する。我々の分析は、時相マルコフ連鎖と見なされるSGDの特性に依存している。
論文参考訳（メタデータ） (2024-10-07T15:02:48Z)
Convergence Rates for Stochastic Approximation: Biased Noise with Unbounded Variance, and Applications [2.0584253077707477]
目的関数 $J(cdot)$ の定常点を求めるグラディエント・Descent (SGD) 法の収束特性について検討した。この結果は、すべての定常点が大域最小値である性質を持つ invex' 関数のクラスに適用できる。
論文参考訳（メタデータ） (2023-12-05T15:22:39Z)
Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文参考訳（メタデータ） (2023-04-27T06:27:37Z)
High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad Stepsize [55.0090961425708]
本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
論文参考訳（メタデータ） (2022-04-06T13:50:33Z)
Stationary Behavior of Constant Stepsize SGD Type Algorithms: An Asymptotic Characterization [4.932130498861987]
一定段差がゼロとなる極限において, 適切にスケールされた定常分布の挙動について検討する。極限スケールの定常分布は積分方程式の解であることを示す。
論文参考訳（メタデータ） (2021-11-11T17:39:50Z)
Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。我々の理論解析は数値実験によってさらに検証される。
論文参考訳（メタデータ） (2021-09-08T18:00:05Z)
Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文参考訳（メタデータ） (2021-02-20T13:45:11Z)
Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
論文参考訳（メタデータ） (2020-10-19T15:23:18Z)
On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
本稿では,勾配降下(SGD)の軌跡を解析する。我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
論文参考訳（メタデータ） (2020-06-19T14:11:26Z)
A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。