Fugu-MT 論文翻訳(概要): High Probability Convergence for Accelerated Stochastic Mirror Descent

論文の概要: High Probability Convergence for Accelerated Stochastic Mirror Descent

arxiv url: http://arxiv.org/abs/2210.00679v1
Date: Mon, 3 Oct 2022 01:50:53 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 18:04:36.954556
Title: High Probability Convergence for Accelerated Stochastic Mirror Descent
Title（参考訳）: 高確率収束による確率鏡の高速化
Authors: Alina Ene, Huy L. Nguyen
Abstract要約: 領域の直径に対して最適解への初期距離に依存する境界による高確率収束を示す。アルゴリズムは標準設定に類似したステップサイズを使用し、リプシッツ関数、滑らかな関数、およびそれらの線形結合に普遍的である。
参考スコア（独自算出の注目度）: 29.189409618561964
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we describe a generic approach to show convergence with high probability for stochastic convex optimization. In previous works, either the convergence is only in expectation or the bound depends on the diameter of the domain. Instead, we show high probability convergence with bounds depending on the initial distance to the optimal solution as opposed to the domain diameter. The algorithms use step sizes analogous to the standard settings and are universal to Lipschitz functions, smooth functions, and their linear combinations.
Abstract（参考訳）: 本稿では,確率的凸最適化の確率の高い収束を示す一般的な手法について述べる。以前の作品では、収束は期待のみか、あるいは境界は領域の直径に依存する。代わりに、領域の直径に対して最適解への初期距離に依存する境界による高い確率収束を示す。アルゴリズムは標準設定に類似したステップサイズを使用し、リプシッツ関数や滑らかな関数、それらの線形結合に普遍的である。

関連論文リスト

High Probability Convergence of Stochastic Gradient Methods [15.829413808059124]
最適解への初期距離に依存する有界収束を示す。 AdaGrad-Normのハイバウンドが得られることを示す。
論文参考訳（メタデータ） (2023-02-28T18:42:11Z)
High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文参考訳（メタデータ） (2023-02-02T10:37:23Z)
Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文参考訳（メタデータ） (2023-01-16T02:57:37Z)
Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文参考訳（メタデータ） (2022-11-20T12:29:06Z)
On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity, Non-Asymptotic Rate and Acceleration [33.247600151322466]
我々は、滑らかな凸関数の標準設定において、AdaGradとその変種についてより深く理解する。まず、制約のない問題に対して、バニラ AdaGrad の収束率を明示的に拘束する新しい手法を示す。第二に、平均的な反復ではなく、最後の反復の収束を示すことのできる AdaGrad の変種を提案する。
論文参考訳（メタデータ） (2022-09-29T14:44:40Z)
On Almost Sure Convergence Rates of Stochastic Gradient Methods [11.367487348673793]
勾配法で得られるほぼ確実な収束速度が、可能な限り最適な収束速度に任意に近づくことを示す。非客観的関数に対しては、二乗勾配ノルムの重み付き平均がほぼ確実に収束するだけでなく、ほぼ確実に0となることを示す。
論文参考訳（メタデータ） (2022-02-09T06:05:30Z)
ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
論文参考訳（メタデータ） (2020-08-28T14:46:56Z)
Random extrapolation for primal-dual coordinate descent [61.55967255151027]
本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
論文参考訳（メタデータ） (2020-07-13T17:39:35Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)
The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
論文参考訳（メタデータ） (2020-06-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。