Fugu-MT 論文翻訳(概要): Riemannian stochastic recursive momentum method for non-convex optimization

論文の概要: Riemannian stochastic recursive momentum method for non-convex optimization

arxiv url: http://arxiv.org/abs/2008.04555v1
Date: Tue, 11 Aug 2020 07:05:58 GMT
ステータス: 処理完了
システム内更新日: 2022-10-31 11:04:28.804461
Title: Riemannian stochastic recursive momentum method for non-convex optimization
Title（参考訳）: 非凸最適化のためのリーマン確率的再帰運動量法
Authors: Andi Han, Junbin Gao
Abstract要約: 我々は,1回の反復で$mathcalOグラデーション評価を行うための atildeOepsilon$-approximate gradient Evaluations 法を提案する。提案した実験はアルゴリズムの優越性を実証するものである。
参考スコア（独自算出の注目度）: 36.79189106909088
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a stochastic recursive momentum method for Riemannian non-convex optimization that achieves a near-optimal complexity of $\tilde{\mathcal{O}}(\epsilon^{-3})$ to find $\epsilon$-approximate solution with one sample. That is, our method requires $\mathcal{O}(1)$ gradient evaluations per iteration and does not require restarting with a large batch gradient, which is commonly used to obtain the faster rate. Extensive experiment results demonstrate the superiority of our proposed algorithm.
Abstract（参考訳）: 1つのサンプルで$\epsilon$-approximate を求めるために、$\tilde{\mathcal{O}}(\epsilon^{-3})$のほぼ最適複雑性を実現するリーマン非凸最適化のための確率的再帰運動量法を提案する。すなわち、この手法では1イテレーションあたり$\mathcal{o}(1)$勾配評価が必要であり、より速いレートを得るために一般的に使用される大きなバッチ勾配で再スタートする必要はない。実験結果は,提案アルゴリズムの優位性を示すものである。

関連論文リスト

Accelerated Stochastic Min-Max Optimization Based on Bias-corrected Momentum [30.01198677588252]
1次アルゴリズムは、$varepsilon-stationary pointを見つけるのに少なくとも$mathcalO(varepsilonepsilon-4)$ complexityを必要とする。本稿では,高効率な変動複雑性を生かした新しい運動量アルゴリズムを提案する。本手法の有効性は実世界のデータセットを用いてロジスティック回帰を用いて検証する。
論文参考訳（メタデータ） (2024-06-18T20:14:52Z)
Riemannian Bilevel Optimization [35.42472057648458]
特に,2次情報を回避することを目的とした,バッチおよび勾配に基づく手法に着目する。本稿では,一階勾配情報を活用する手法である$mathrmRF2SA$を提案し,分析する。様々な設定の下で、$epsilon$-stationary 点に達するための明示的な収束率を提供する。
論文参考訳（メタデータ） (2024-05-22T20:49:01Z)
A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness [4.097563258332958]
滑らか性に不均一性が存在する場合の高速準ニュートン法を提案する。我々のアルゴリズムは、最もよく知られた$mathcalO(epsilon-3)$サンプルの複雑さを達成でき、収束のスピードアップを楽しむことができる。我々の数値実験により,提案アルゴリズムは最先端の手法よりも優れていることが示された。
論文参考訳（メタデータ） (2024-03-22T14:40:29Z)
On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization [10.36447258513813]
我々は、強化学習(RL)における既存の問題の多くを網羅する非文献設定における正規化期待報酬最適化問題を考える。特に、標準条件下では、$O(epsilon-4)$サンプルを$epsilon$-stationaryポイントに含めることが示されている。分析の結果,サンプルの複雑さは,追加条件下では$O(epsilon-4)$から$O(epsilon-3)$に改善できることがわかった。
論文参考訳（メタデータ） (2024-01-23T06:01:29Z)
Online estimation of the inverse of the Hessian for stochastic optimization with application to universal stochastic Newton algorithms [4.389938747401259]
本稿では,期待値として記述された凸関数の最小値推定のための2次最適化について述べる。 Robbins-Monro 法を用いて逆 Hessian 行列の直接帰納的推定手法を提案する。とりわけ、普遍的なニュートン法を開発し、提案手法の効率性を調べることができる。
論文参考訳（メタデータ） (2024-01-15T13:58:30Z)
A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization [53.044526424637866]
本稿では、2つの異なる対象の一般円錐最適化を最小化する近似二階定常点(SOSP)について検討する。特に、近似SOSPを見つけるためのNewton-CGベースの拡張共役法を提案する。
論文参考訳（メタデータ） (2023-01-10T20:43:29Z)
Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee [86.05440220344755]
我々は,非制約のmin-max最適化問題のグローバルなサドル点を求めるために,不正確な正規化ニュートン型手法を提案し,解析する。提案手法は有界集合内に留まるイテレートを生成し、その反復は制限関数の項で$O(epsilon-2/3)$内の$epsilon$-saddle点に収束することを示す。
論文参考訳（メタデータ） (2022-10-23T21:24:37Z)
Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。本研究の結果は, 同時一次および二重側収束の形で表される。
論文参考訳（メタデータ） (2020-08-23T20:36:49Z)
Gradient Free Minimax Optimization: Variance Reduction and Faster Convergence [120.9336529957224]
本稿では、勾配のないミニマックス最適化問題の大きさを非強設定で表現する。本稿では,新しいゼロ階分散還元降下アルゴリズムが,クエリの複雑さを最もよく表すことを示す。
論文参考訳（メタデータ） (2020-06-16T17:55:46Z)
Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文参考訳（メタデータ） (2020-02-10T23:23:04Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。