論文の概要: Geometric Moment Contraction for Stochastic Nesterov Acceleration

• arxiv url: http://arxiv.org/abs/2609.31303v1
• Date: Fri, 25 Sep 2026 14:14:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.418525
• Title: Geometric Moment Contraction for Stochastic Nesterov Acceleration
• Title（参考訳）: 確率性ネステロフ加速のための幾何学的モーメント収縮
• Abstract要約: 明示的なPerron比較は、$Lp (1-) (1-q_,p)$のとき、同期$Lp$の収縮を証明している。 補的パワー=リャプノフの議論は、有限の$p$th勾配モーメントのみを用いて、固定された1ドルと everyp>1$ に対して正の、概してより小さい、ステップサイズ間隔を確立する。 p=2のとき、その二次的な高モメンタムスケーリングは、鋭い境界ではなく、選択された計量の極限である。
• 参考スコア（独自算出の注目度）: 1.6582968942719265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study geometric moment contraction (GMC) of the constant-parameter stochastic Nesterov recursion \[ Y_k=Θ_k+β(Θ_k-Θ_{k-1}),\qquad Θ_{k+1}=Y_k-γG(Y_k,X_{k+1}). \] Under mean strong monotonicity and stochastic $L^p$ Lipschitz continuity, an explicit Perron comparison proves synchronous $L^p$ contraction when $βγL_p<(1-β)(1-q_{γ,p})$. This direct criterion includes infinite-variance gradients for $1<p<2$, but its small-step regime requires $β<μ/(μ+L_p)$. A complementary power-Lyapunov argument establishes a positive, generally much smaller, step-size interval for every fixed $β<1$ and every $p>1$, using only a finite $p$th gradient moment. At $p=2$, a simpler explicit certificate gives \[ 0<γ<\frac{2μ(1-β)^2}{L_2^2(1-β+2β^2)}. \] Its quadratic high-momentum scaling is a limitation of the chosen metric, not a sharp stability boundary. We quantify this loss, provide a general mean-only quadratic $S$-procedure, and exploit endpoint Lyapunov inequalities under stronger samplewise sector information. Verified endpoint certificates can be orders of magnitude less conservative than the explicit metric.
• Abstract（参考訳）: 定数パラメトリックなネステロフ再帰の幾何モーメント収縮 (GMC) について検討する。 \] 平均的な単調性と確率的な$L^p$リプシッツ連続性の下で、明示的なペロン比較は、$βγL_p<(1-β)(1-q_{γ,p})$のとき、同期的な$L^p$収縮を証明している。 この直接的な基準は1<p<2$の無限分散勾配を含むが、その小さな段階の条件は$β<μ/(μ+L_p)$である。 補的パワー=リャプノフの議論は、有限の$p$th勾配モーメントのみを用いて、固定された$β<1$およびすべての$p>1$に対する正の、概してより小さいステップサイズ間隔を確立する。 p=2$のとき、単純な明示的な証明は \[0<γ<\frac{2μ(1-β)^2}{L_2^2(1-β+2β^2)} を与える。 \] 2次高モメンタムスケーリングは、鋭い安定性境界ではなく、選択された計量の制限である。 我々は、この損失を定量化し、一般的な平均のみの2次値である$S$-procedureを提供し、より強いサンプリングワイドセクター情報の下で、Lyapunovの不等式を利用する。 認証されたエンドポイント証明書は、明示的なメトリックよりも桁違いに保守的でない。

関連論文リスト

• Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds [1.6582968942719265]
  一様雑音-モーメンタリティ境界は、距離によって変動が増加する勾配を除外する。 直接降下すると、スムーズな転位引数が3エプシロン6$を回復する。 局所化半径は、非レート仮定、クリッピング正規化、運動量、バッチサイズの増加といった境界から導かれる。
  論文  参考訳（メタデータ） (2026-09-24T19:37:07Z)
• Precise Convergence Speed of Clipped SGD [2.7074235008521246]
  定量的定数を持つ$(L_1, L)$-smooth関数上のクリッピング勾配勾配の厳密収束解析を行う。 Koloskova et al (2023) のアイデアに基づいて、$ell$-射影の基本的な性質から導かれるバイアスの制御の中心的な役割を明らかにするためにいくつかのケース・ディジャンクションを証明した。
  論文  参考訳（メタデータ） (2026-09-24T12:11:42Z)
• Scaling Limits of Constant-Stepsize SGD at Flat Minima [5.608222858044445]
  契約駆動チェーンが生成するマルコフ雑音について検討する。 定段数$$の勾配降下(SGD)に対して、最小値を中心とする反復法の不変法則は、長い時間的地平線上でのアルゴリズムの振舞いを記述する。 この振舞いは、平坦なミニマと(部分)四角形尾を持つ凸対象に対して根本的に変化することを示す。
  論文  参考訳（メタデータ） (2026-07-17T17:22:46Z)
• Solving Stochastic Fixed-Point Equations with High Probability [22.376855234542813]
  オラクルの不動点方程式 $mathbfT(mathbfx) = mathbfx$ をノルム空間上で研究する。 本稿では,2次スムーズなバナッハ空間に対する分散還元段階Halpern法であるVR-GHALを紹介する。
  論文  参考訳（メタデータ） (2026-07-10T04:59:20Z)
• Optimal Dimension-Free Sampling for Regularized Classification [56.72526267755301]
  我々は、リプシッツ連続分類損失関数の幅広いクラスに対して、$(1pmvarepsilon)$-relativeエラーを達成する最適サンプリング境界を証明した。 これにはロジスティックやシグモイドの損失、ヒンジの損失、ReLUの損失といった重要な機能が含まれており、顕著で一般的な例である。
  論文  参考訳（メタデータ） (2026-05-22T15:05:33Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• The ODE Method for Asymptotic Statistics in Stochastic Approximation and Reinforcement Learning [3.8098187557917464]
  この論文は$d$-dimensional recursion approximation, $$theta_n+1=theta_n + alpha_n + 1 f(theta_n, Phi_n+1)に関するものである。 主な結果は、ドスカー・バラダン・リャプノフドリフト条件(DV3)の平均流とバージョンに関する追加条件の下で確立される。 a example is given where $f$ and $barf$ are linear in $theta$, and $Phi$ is a geometryal.
  論文  参考訳（メタデータ） (2021-10-27T13:38:25Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。