論文の概要: Last-Iterate Convergence of Stochastic Gradient Methods for Unbounded Problems
- arxiv url: http://arxiv.org/abs/2611.07334v1
- Date: Thu, 05 Nov 2026 02:17:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.492786
- Title: Last-Iterate Convergence of Stochastic Gradient Methods for Unbounded Problems
- Title（参考訳）: 非有界問題に対する確率勾配法の最終Iterate Convergence
- Abstract要約: 近位勾配法と射影勾配法の最後の点収束を解析するための2つの手法について検討した。
最後に, ほぼ最適値が$widetildemathcalO (1/sqrtT)$であることを示す。
地平線が$T$であるとき、対数係数を除去し、最適な順序を得る。
$mathcalO (1/sqrtT)$ は、有界な分散や有界なドメイン仮定の下で知られている順序に一致する。
- 参考スコア（独自算出の注目度）: 8.636513507553504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Last-iterate convergence guarantees for stochastic gradient methods have attracted significant attention as practical implementations typically return the last iterate instead of an average of the iterates. In this paper, we study two approaches for analyzing the last-iterate convergence of proximal and projected stochastic gradient methods without bounded domain or bounded variance assumptions, where black-box variational inference serves as a running example. Under two related assumptions relaxing the bounded variance, we show near-optimal anytime rate $\widetilde{\mathcal{O}}(1/\sqrt{T})$ for the last iterate. Moreover, when the horizon $T$ is known, we remove the logarithmic factor and obtain the optimal order $\mathcal{O}(1/\sqrt{T})$, matching the order known under bounded variance or bounded domain assumptions.
- Abstract（参考訳）: 確率勾配法に対する最終項目収束保証は、実際的な実装では、平均的な反復ではなく、最後の繰り返しを返すため、大きな注目を集めている。
本稿では,ブラックボックスの変分推論を実例として,境界領域や有界分散の仮定を伴わない確率勾配法と確率勾配法の最終定値収束を解析するための2つの手法について検討する。
有界分散を緩和する2つの関連する仮定の下で、最後の反復に対して、ほぼ最適の任意の時間率 $\widetilde{\mathcal{O}}(1/\sqrt{T})$ を示す。
さらに、地平線$T$が知られているとき、対数係数を除去し、最適順序 $\mathcal{O}(1/\sqrt{T})$ を得る。
関連論文リスト
- Finite-Sample Wasserstein Error Bounds and Concentration Inequalities for Nonlinear Stochastic Approximation [6.800624963330628]
ワッサーシュタイン-$p$距離における非線形近似アルゴリズムの非漸近誤差境界を導出する。
正規化された最後の繰り返しは、$p$-ワッサーシュタイン距離のガウス分布に階数$_n1/6$で収束することを示し、$_n$はステップサイズである。
これらの分布保証は、モーメント境界やマルコフの不等式から得られるものより改善される高確率濃度の不等式を暗示する。
論文 参考訳（メタデータ） (2026-02-02T18:41:06Z) - Limit Theorems for Stochastic Gradient Descent with Infinite Variance [51.4853131023238]
この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。
また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
論文 参考訳（メタデータ） (2024-10-21T09:39:10Z) - On the Last-Iterate Convergence of Shuffling Gradient Methods [21.865728815935665]
対象値に関して勾配法をシャッフルする際の最終点収束率を初めて証明する。
我々の結果は、(ほぼ)既存のラストイテレートの下限と一致するか、あるいは、平均的なイテレートの前の最高の上限と同速である。
論文 参考訳（メタデータ） (2024-03-12T15:01:17Z) - Revisiting the Last-Iterate Convergence of Stochastic Gradient Methods [25.831462008050387]
グラディエント・Descent(SGD)アルゴリズムは、実際の性能が良く、理論的な理解が欠如していることから、人々の関心を喚起している。
有限収束がより広い合成最適化や非ユークリッドノルムに証明可能な拡張が可能かどうかはまだ不明である。
論文 参考訳（メタデータ） (2023-12-13T21:41:06Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳（メタデータ） (2023-01-10T12:18:47Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳（メタデータ） (2021-06-28T00:17:01Z) - ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。
有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文 参考訳（メタデータ） (2020-08-28T14:46:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。