Fugu-MT 論文翻訳(概要): Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity

論文の概要: Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity

arxiv url: http://arxiv.org/abs/2401.13971v1
Date: Thu, 25 Jan 2024 06:06:31 GMT
ステータス: 処理完了
システム内更新日: 2024-01-26 15:33:27.155736
Title: Stochastic Weakly Convex Optimization Beyond Lipschitz Continuity
Title（参考訳）: リプシッツ連続性を超える確率的弱凸最適化
Authors: Wenzhi Gao, Qi Deng
Abstract要約: 次数法を含む幅広い連続性アルゴリズムが, 一定の故障率で$mathO収束率を保っていることを示す。リプシッツパラメータは、$|x|$の一般的な成長関数によって境界付けられたり、独立したランダムサンプルを通して局所的に推定されたりする。
参考スコア（独自算出の注目度）: 6.930866028329355
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper considers stochastic weakly convex optimization without the standard Lipschitz continuity assumption. Based on new adaptive regularization (stepsize) strategies, we show that a wide class of stochastic algorithms, including the stochastic subgradient method, preserve the $\mathcal{O} ( 1 / \sqrt{K})$ convergence rate with constant failure rate. Our analyses rest on rather weak assumptions: the Lipschitz parameter can be either bounded by a general growth function of $\|x\|$ or locally estimated through independent random samples.
Abstract（参考訳）: 本稿では,標準リプシッツ連続性仮定を伴わない確率的弱凸最適化を考える。新たな適応正則化(ステップサイズ)戦略に基づき,確率的下次法を含む確率的アルゴリズムが,一定の故障率で$\mathcal{O} ( 1 / \sqrt{K})$収束率を保持することを示す。リプシッツパラメータは、$\|x\|$の一般的な成長関数によって境界づけられるか、あるいは独立なランダムサンプルを通して局所的に推定される。

関連論文リスト

Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文参考訳（メタデータ） (2023-11-07T17:39:17Z)
Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文参考訳（メタデータ） (2023-09-29T15:24:48Z)
High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文参考訳（メタデータ） (2023-02-02T10:37:23Z)
Randomized Coordinate Subgradient Method for Nonsmooth Composite Optimization [11.017632675093628]
非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
論文参考訳（メタデータ） (2022-06-30T02:17:11Z)
Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文参考訳（メタデータ） (2022-06-17T06:10:20Z)
Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
論文参考訳（メタデータ） (2021-09-24T14:48:20Z)
Optimal Rates for Random Order Online Optimization [60.011653053877126]
敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
論文参考訳（メタデータ） (2021-06-29T09:48:46Z)
High-probability Bounds for Non-Convex Stochastic Optimization with Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文参考訳（メタデータ） (2021-06-28T00:17:01Z)
Stochastic Online Convex Optimization. Application to probabilistic time series forecasting [0.0]
我々は、オンラインニュートンステップやスケールレスのBernsteinオンラインバージョンのようなアルゴリズムが、無制限の設定で最もよく知られたレートを達成することを証明している。私たちの高速な後悔の限界はいつでも有効です。
論文参考訳（メタデータ） (2021-02-01T09:49:15Z)
Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model [0.0]
このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
論文参考訳（メタデータ） (2020-06-15T08:25:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。