論文の概要: Riemannian stochastic recursive momentum method for non-convex
optimization
- arxiv url: http://arxiv.org/abs/2008.04555v1
- Date: Tue, 11 Aug 2020 07:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 11:04:28.804461
- Title: Riemannian stochastic recursive momentum method for non-convex
optimization
- Title(参考訳): 非凸最適化のためのリーマン確率的再帰運動量法
- Authors: Andi Han, Junbin Gao
- Abstract要約: 我々は,1回の反復で$mathcalOグラデーション評価を行うための atildeOepsilon$-approximate gradient Evaluations 法を提案する。
提案した実験はアルゴリズムの優越性を実証するものである。
- 参考スコア(独自算出の注目度): 36.79189106909088
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a stochastic recursive momentum method for Riemannian non-convex
optimization that achieves a near-optimal complexity of
$\tilde{\mathcal{O}}(\epsilon^{-3})$ to find $\epsilon$-approximate solution
with one sample. That is, our method requires $\mathcal{O}(1)$ gradient
evaluations per iteration and does not require restarting with a large batch
gradient, which is commonly used to obtain the faster rate. Extensive
experiment results demonstrate the superiority of our proposed algorithm.
- Abstract(参考訳): 1つのサンプルで$\epsilon$-approximate を求めるために、$\tilde{\mathcal{O}}(\epsilon^{-3})$のほぼ最適複雑性を実現するリーマン非凸最適化のための確率的再帰運動量法を提案する。
すなわち、この手法では1イテレーションあたり$\mathcal{o}(1)$勾配評価が必要であり、より速いレートを得るために一般的に使用される大きなバッチ勾配で再スタートする必要はない。
実験結果は,提案アルゴリズムの優位性を示すものである。
関連論文リスト
- On the Stochastic (Variance-Reduced) Proximal Gradient Method for
Regularized Expected Reward Optimization [12.244251361123396]
我々は、強化学習(RL)における既存の問題の多くを網羅する非文献設定における正規化期待報酬最適化問題を考える。
特に、標準条件下では、$O(epsilon-4)$サンプルを$epsilon-stationaryポイントに含めることが示されている。
追加条件下では,サンプルの複雑さが$epsilon-4)$から$O(epsilon-3)$に改善できることが示されている。
論文 参考訳(メタデータ) (2024-01-23T06:01:29Z) - Online estimation of the inverse of the Hessian for stochastic
optimization with application to universal stochastic Newton algorithms [0.0]
本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。
Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。
とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
論文 参考訳(メタデータ) (2024-01-15T13:58:30Z) - A Fully First-Order Method for Stochastic Bilevel Optimization [8.663726907303303]
一階勾配オラクルのみが利用できる場合、制約のない二段階最適化問題を考える。
完全一階近似法(F2SA)を提案し,その非漸近収束特性について検討する。
MNISTデータハイパクリーニング実験において,既存の2次手法よりも提案手法の実用性能が優れていることを示す。
論文 参考訳(メタデータ) (2023-01-26T05:34:21Z) - A Newton-CG based barrier-augmented Lagrangian method for general
nonconvex conic optimization [77.8485863487028]
本稿では、2つの異なる対象の一般円錐最適化を最小化する近似二階定常点(SOSP)について検討する。
特に、近似SOSPを見つけるためのNewton-CGベースの拡張共役法を提案する。
論文 参考訳(メタデータ) (2023-01-10T20:43:29Z) - Explicit Second-Order Min-Max Optimization Methods with Optimal
Convergence Guarantee [96.71652414591051]
本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なニュートン型正規化手法を提案し,解析する。
提案アルゴリズムは,有界集合内に留まるイテレートを生成し,制限されたイテレート関数の項で$O(-2/3)$ギャップに収束することを示す。
論文 参考訳(メタデータ) (2022-10-23T21:24:37Z) - Accelerated first-order methods for convex optimization with locally
Lipschitz continuous gradient [0.0]
まず,Lipschitz連続勾配 (LLCG) を用いた非拘束凸最適化について検討し,それを解決するための加速近位勾配 (APG) 法を提案する。
提案手法は検証可能な終端基準を備えており、演算複雑性は$cal O(varepsilon-1/2log varepsilon-1)$である。
提案手法の性能を実証するために,予備的な数値計算結果を示す。
論文 参考訳(メタデータ) (2022-06-02T10:34:26Z) - On Stochastic Moving-Average Estimators for Non-Convex Optimization [105.22760323075008]
本稿では,移動平均(SEMA)問題に基づく広く利用されている推定器のパワーを実証する。
これらすべてのアートな結果に対して、これらのアートな問題に対する結果も提示します。
論文 参考訳(メタデータ) (2021-04-30T08:50:24Z) - ROOT-SGD: Sharp Nonasymptotics and Asymptotic Efficiency in a Single
Algorithm [77.71051081132912]
第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。
emphRecursive One-Over-T Root (ROOTSGD) と呼ばれる小説を考案する。
有限サンプル勾配, 漸近感覚, 感覚を同時に達成することを証明する。
論文 参考訳(メタデータ) (2020-08-28T14:46:56Z) - Gradient Free Minimax Optimization: Variance Reduction and Faster
Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。
本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文 参考訳(メタデータ) (2020-06-16T17:55:46Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。