論文の概要: Convergence rates for the RMSprop optimizer with full control of the hyperparameters
- arxiv url: http://arxiv.org/abs/2608.30382v1
- Date: Mon, 31 Aug 2026 07:37:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.2879
- Title: Convergence rates for the RMSprop optimizer with full control of the hyperparameters
- Title（参考訳）: ハイパーパラメータを完全に制御したRMSpropオプティマイザの収束率
- Abstract要約: 本稿では, RMSprop の第2モーメントプロセスに適した逆モーメント境界であることを示す上で, 革新的な新機能を提案する。
このような手法の関連性が高いにもかかわらず、そのような手法の誤差推定を提供するためのオープンな研究課題である。
- 参考スコア（独自算出の注目度）: 2.105564340986074
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Popular adaptive stochastic gradient descent (SGD) methods to train artificial intelligence (AI) systems include the RMSprop, the Adam, and the AdamW optimizers, where the adaptivity parts in Adam and AdamW basically just coincide with RMSprop. Such adaptive methods involve several hyperparameters including the regularization parameter $ε$ (which ensures that one does not divide by 0 and is often chosen to be very close to zero such as $10^{-8}$ in PyTorch by default) and the second moment decay parameter $β$ (which is often chosen to be very close to $1$ such as 0.99 (RMSprop) and 0.999 (Adam and AdamW) in PyTorch by default). Despite the high relevance of such methods, it remains an open research problem to provide error estimates for such methods with the error constants being not exploding but uniformly bounded with the respect to the hyperparameters, even in the situation of convex stochastic optimization problems. It is the key contribution of this work to essentially solve this problem for RMSprop. Specifically, we bound the expectation of the stopped evaluation of the objective function at the RMSprop process from above by the sum of an initialization term that decays exponentially in the training time, a stochastic approximation remainder of order $γ_n$, and a memory error of order $( 1 - β)^2$ with the error constants being uniformly controlled over all admissible choices of the step sizes, the second moment decay parameter $β$ and the regularization parameter $ε\in[0,1]$ (also covering $ε=0$). Our non-asymptotic error estimates hold not just for all sufficiently large n but hold for every gradient step $n=1,2,3,...$ with all error constants being explicitly specified. The key innovative new feature in the proof of our analysis are suitable inverse moment bounds for the second moment process in RMSprop.
- Abstract（参考訳）: 人工知能(AI)システムを訓練する一般的な適応確率勾配降下法(SGD)には、RMSprop、Adam、AdamWオプティマイザがあり、AdamとAdamWの適応部は基本的にRMSpropと一致する。
そのような適応的手法には、正規化パラメータ$ε$(デフォルトではPyTorchで10^{-8}$のように0に近づかないことを保証する)と第二モーメント崩壊パラメータ$β$(デフォルトではPyTorchで0.99 (RMSprop) や0.999 (Adam and AdamW) など、いくつかのハイパーパラメータが含まれる。
このような手法の関連性が高いにもかかわらず、凸確率最適化問題であっても、誤差定数は爆発しないがハイパーパラメータに関して一様に境界づけられているような、そのような方法に対する誤差推定を提供することは、オープンな研究課題である。
RMSprop のこの問題を本質的に解決することは、この作業の鍵となる貢献である。
具体的には、トレーニング時間で指数関数的に減衰する初期化項の和、次数$γ_n$の確率近似残差、次数$(1 − β)^2$のメモリエラーをステップサイズ、第2モーメント減衰パラメータ$β$および正規化パラメータ$ε\in[0,1]$の許容可能なすべての選択に対して均一に制御する。
我々の非漸近誤差推定は、十分大きい n に対してだけではなく、すべての勾配ステップ $n=1,2,3,...$ に対して成り立つ。
我々の分析の証明における重要な革新的新機能は、RMSpropにおける第2モーメントプロセスに適した逆モーメント境界である。
関連論文リスト
- Regret Equals Covariance: A Closed-Form Characterization for Stochastic Optimization [0.0]
後悔の定量化はアルゴリズムによる意思決定の不確実性のコストである。
本稿では,任意の最適化問題における期待された後悔が,正確な分解を許容することを示す。
論文 参考訳（メタデータ） (2026-05-13T18:32:44Z) - Provably Efficient Algorithms for S- and Non-Rectangular Robust MDPs with General Parameterization [85.91302339486673]
我々は、s-正方形および非正方形不確実性集合の下で、一般的な政策パラメータ化を伴うロバストマルコフ決定過程(RMDP)について検討する。
無限状態空間に拡張する一般政策パラメタライゼーションに対する新しいリプシッツ・リプシッツ・スムースネス特性を証明した。
本研究では,S-正方形不確かさに対する勾配降下アルゴリズムと非正方形不確かさに対するFrank-Wolfeアルゴリズムを設計する。
論文 参考訳（メタデータ） (2026-02-11T21:44:20Z) - Parameter-free Algorithms for the Stochastically Extended Adversarial Model [59.81852138768642]
拡張逆数(SEA)モデルの既存のアプローチは、ドメインの直径$D$や損失関数のリプシッツ定数$G$といった問題固有のパラメータの事前知識を必要とする。
パラメータを不要にするためにOptimistic Online Newton Step (OONS) アルゴリズムを利用するパラメータフリー手法を開発した。
論文 参考訳（メタデータ） (2025-10-06T10:53:37Z) - Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime [26.711510824243803]
本研究では, 最適騒音が0または0に近い政権において, 円滑な凸目標に対する勾配降下(SGD)の集団収束保証について検討した。
十分に調整されたステップサイズでは、最後の繰り返しに対してほぼ最適な$widetildeO (1/T + sigma_star/sqrtT)$レートを得る。
論文 参考訳（メタデータ） (2025-07-15T12:52:47Z) - Adaptive stable distribution and Hurst exponent by method of moments moving estimator for nonstationary time series [0.49728186750345144]
我々は,パラメータを毎回別々に推定する移動推定器という,より非依存的なアプローチに焦点をあてる。
本稿では,Hurst指数にも影響を及ぼすα-Stable分布の応用例を示す。
論文 参考訳（メタデータ） (2025-05-20T08:36:49Z) - Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。
我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。
我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - Bayes beats Cross Validation: Efficient and Accurate Ridge Regression
via Expectation Maximization [3.061662434597098]
本稿では,正規化ハイパーパラメータである$lambda$について,LOOCV(Left-out-out Cross-validation)よりも高速に計算できる手法を提案する。
提案手法は,比較的穏やかな条件下で,十分大きな$n$に対して,一意の最適解を求めることが保証されている。
論文 参考訳（メタデータ） (2023-10-29T01:13:55Z) - Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum
Minimization [52.25843977506935]
有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。
そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
論文 参考訳（メタデータ） (2022-11-03T14:41:46Z) - Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。
マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
論文 参考訳（メタデータ） (2021-12-23T18:47:50Z) - A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。
Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文 参考訳（メタデータ） (2020-03-05T01:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。