論文の概要: Precise Convergence Speed of Clipped SGD

• arxiv url: http://arxiv.org/abs/2609.29458v1
• Date: Thu, 24 Sep 2026 12:11:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.912353
• Title: Precise Convergence Speed of Clipped SGD
• Title（参考訳）: クラップしたSGDの高精度収束速度
• Abstract要約: 定量的定数を持つ$(L_1, L)$-smooth関数上のクリッピング勾配勾配の厳密収束解析を行う。 Koloskova et al (2023) のアイデアに基づいて、$ell$-射影の基本的な性質から導かれるバイアスの制御の中心的な役割を明らかにするためにいくつかのケース・ディジャンクションを証明した。
• 参考スコア（独自算出の注目度）: 2.7074235008521246
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a tightened convergence analysis of clipped gradient descent on $(L_0, L_1)$-smooth functions, with quantitative constants. Building on the ideas of Koloskova et al (2023), we refactor several case disjunctions to reveal the central role of a control of the bias derived from fundamental properties of $\ell_2$-projection, simplifying proofs. We also extend the domain of validity from $η\leq 1 / (9 β)$ to $η< 1 /β$ where $β= L_0 + c L_1$ for clipping constant $c$, which matches the more traditional analysis of smooth functions. We strengthen the convergence criterion from $\left( \min_{t < T} \mathbb{E}[\lVert \nabla f(x_t) \rVert_2] \right)$ to $\left( \frac{1}{T} \sum_{t < T} \mathbb{E}[\lVert \nabla f(x_t) \rVert_2] \right)$ with matching speed, and lower the final achievable loss from $\mathcal{O}(\min(σ^2/c, σ))$ to the more precise $6 \min(σ^2 /c, 3 σ)$.
• Abstract（参考訳）: 定量的定数を持つ$(L_0, L_1)$-smooth関数上のクリッピング勾配勾配の厳密収束解析を行う。 Koloskova et al (2023) のアイデアに基づいて、我々はいくつかのケースディジャンクションをリファクタリングし、$\ell_2$-プロジェクションの基本的な性質から導かれるバイアスの制御の中心的な役割を明らかにし、証明を単純化する。 また、妥当性の領域を$η\leq 1 / (9 β)$から$η<1 /β$に拡張する。 我々は、$\left( \min_{t < T} \mathbb{E}[\lVert \nabla f(x_t) \rVert_2] \right)$から$\left( \frac{1}{T} \sum_{t <T} \mathbb{E}[\lVert \nabla f(x_t) \rVert_2] \right)$への収束基準を強化し、$\mathcal{O}(\min(σ^2/c, σ)$から$への最終的な到達可能性を失う。

関連論文リスト

• Convergence Rate for the Last Iterate of Stochastic Gradient Descent Schemes [0.0]
  Fdelta が凸であるときに SHB が$F_*$ で一定運動量に達することを証明した。 また、Fdelta が凸であるときに SHB が$F_*$ の運動量を得ることを示す。
  論文  参考訳（メタデータ） (2025-07-09T20:59:23Z)
• On the $O(\frac{\sqrt{d}}{K^{1/4}})$ Convergence Rate of AdamW Measured by $\ell_1$ Norm [52.95596504632859]
  本稿では、$ell_1$ノルムで測定されたAdamWに対して、収束速度 $frac1Ksum_k=1KEleft[||nabla f(xk)||_1right]leq O(fracsqrtdCK1/4)$を確立する。 結果は、二重モーメント機構を用いたAdamW変種であるNAdamWに拡張し、同じ収束率を維持していることを示す。
  論文  参考訳（メタデータ） (2025-05-17T05:02:52Z)
• On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm [54.28350823319057]
  本稿では、RMSPropとその運動量拡張を考察し、$frac1Tsum_k=1Tの収束速度を確立する。 我々の収束率は、次元$d$を除くすべての係数に関して下界と一致する。 収束率は$frac1Tsum_k=1Tと類似していると考えられる。
  論文  参考訳（メタデータ） (2024-02-01T07:21:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。