論文の概要: Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD

• arxiv url: http://arxiv.org/abs/2609.39144v2
• Date: Thu, 01 Oct 2026 07:48:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.551245
• Title: Sharp Stationary Gaussian Approximation for Constant-Stepsize SGD
• Title（参考訳）: 定数ステップSGDに対するシャープ定常ガウス近似
• Abstract要約: 定段SGDと有界加法的雑音の不変法則に対する鋭いガウス近似を証明した。 四状態の例は、1時間雑音境界は対称であるが、一致する下界を与える。 この例では、隣接する3階混合モーメントがリード補正を生成する。
• 参考スコア（独自算出の注目度）: 4.822598110892847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove a sharp Gaussian approximation for the invariant law of constant-stepsize SGD with bounded additive noise generated by an exogenous uniformly ergodic Markov chain. For a smooth, strongly convex objective with a Lipschitz Hessian and nondegenerate long-run noise covariance, the centered iterate normalized by the square root of the stepsize is $O(\sqrtα)$-close in 1-Wasserstein distance to its limiting Gaussian. The proof combines blockwise Gaussian comparison with long-run contraction. A four-state example gives a matching lower bound although the one-time noise marginal is symmetric and every nonzero-lag autocovariance vanishes. In this example, an adjacent third-order mixed moment produces the leading correction.
• Abstract（参考訳）: 我々は,一様エルゴード型マルコフ鎖によって生じる有界加法的雑音を持つ等段SGDの不変法則に対する鋭いガウス近似を証明した。 リプシッツ・ヘッセンと非退化ロングランノイズ共分散による滑らかで強凸な目的のために、階段の平方根によって正規化された中心的イテレートは1-ワッサーシュタイン距離のガウス距離において$O(\sqrtα)$-クロースである。 この証明はブロックワイドガウス比較と長期縮約を組み合わせたものである。 4状態の例は一致した下界を与えるが、1時間雑音境界は対称であり、すべての非ゼロラグ自己共分散は消える。 この例では、隣接する3階混合モーメントがリード補正を生成する。

関連論文リスト

• Steady-State Convergence of Stochastic Approximation [19.40811084751516]
  我々はマルコフ型乗法雑音によって駆動される定数ステップサイズの収縮型SAに対する統一SSC理論を開発する。 主要な方法論的貢献は、トラクタブルな補助力学への元の再帰を段階的に減少させる多段階フレームワークである。 主次バイアスは、スムーズな状態における$$-orderバイアスとは対照的に、次数$sqrt$の普遍性であることが示される。
  論文  参考訳（メタデータ） (2026-09-14T02:15:03Z)
• Steady-State Behavior of Constant-Stepsize Stochastic Approximation: Gaussian Approximation and Tail Bounds [9.739744677824286]
  定段近似(SA)は計算効率の学習に広く用いられている。 以前の研究は、段数 $downarrow 0$ のとき中心とスケールの定常状態がガウス確率ベクトルに弱収束することを示していた。 この論文は、固定された$に対して明示的で漸近的でないエラー境界を提供する。
  論文  参考訳（メタデータ） (2026-02-15T02:34:50Z)
• Finite-Sample Wasserstein Error Bounds and Concentration Inequalities for Nonlinear Stochastic Approximation [6.800624963330628]
  ワッサーシュタイン-$p$距離における非線形近似アルゴリズムの非漸近誤差境界を導出する。 正規化された最後の繰り返しは、$p$-ワッサーシュタイン距離のガウス分布に階数$_n1/6$で収束することを示し、$_n$はステップサイズである。 これらの分布保証は、モーメント境界やマルコフの不等式から得られるものより改善される高確率濃度の不等式を暗示する。
  論文  参考訳（メタデータ） (2026-02-02T18:41:06Z)
• Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation [22.652143194356864]
  本研究では, 勾配勾配勾配(SGD)を一定のステップサイズで解くことで, 密接な凸と滑らかな問題を解く問題に対処する。 得られた推定子の平均二乗誤差を、反復数$n$に対して拡張する。 我々の分析は、時相マルコフ連鎖と見なされるSGDの特性に依存している。
  論文  参考訳（メタデータ） (2024-10-07T15:02:48Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Debiased Sinkhorn barycenters [110.79706180350507]
  最適輸送(OT)におけるエントロピー正則化(Entropy regularization)は、機械学習におけるWassersteinメトリクスやバリセンタに対する近年の関心の原動力となっている。 このバイアスがエントロピー正則化器を定義する基準測度とどのように密接に関連しているかを示す。 両世界の長所を保ち、エントロピーを滑らかにしないシンクホーン様の高速な反復をデバイアスド・ワッサースタインのバリセンタとして提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。