論文の概要: Accelerated Riemannian Optimization: Handling Constraints with a Prox to
Bound Geometric Penalties
- arxiv url: http://arxiv.org/abs/2211.14645v1
- Date: Sat, 26 Nov 2022 19:28:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-29 20:25:47.274378
- Title: Accelerated Riemannian Optimization: Handling Constraints with a Prox to
Bound Geometric Penalties
- Title(参考訳): 加速されたリーマン最適化:幾何学的罰則の接点付き制約を扱う
- Authors: David Mart\'inez-Rubio and Sebastian Pokutta
- Abstract要約: 本研究では,スムーズな測地関数の最適化のために,グローバルに高速化された一階法を提案する。
我々はネステロフの加速降下と同じ収束率を乗法コンパクト集合まで達成する。
- 参考スコア(独自算出の注目度): 20.711789781518753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a globally-accelerated, first-order method for the optimization of
smooth and (strongly or not) geodesically-convex functions in a wide class of
Hadamard manifolds. We achieve the same convergence rates as Nesterov's
accelerated gradient descent, up to a multiplicative geometric penalty and log
factors.
Crucially, we can enforce our method to stay within a compact set we define.
Prior fully accelerated works \textit{resort to assuming} that the iterates of
their algorithms stay in some pre-specified compact set, except for two
previous methods of limited applicability. For our manifolds, this solves the
open question in [KY22] about obtaining global general acceleration without
iterates assumptively staying in the feasible set.
- Abstract(参考訳): 本稿では,多種多様なアダマール多様体における滑らかかつ(強,非)測地凸関数の最適化のための大域的加速一階法を提案する。
我々は,乗算幾何学的ペナルティと対数係数まで,ネステロフの加速度勾配降下と同じ収束率を達成する。
重要なことに、私たちはメソッドを私たちが定義するコンパクトな集合内に留まるように強制することができる。
事前の完全に加速されたワーク \textit{resort to assuming} は、アルゴリズムのイテレートがいくつかの事前指定されたコンパクト集合にとどまっていることを仮定する。
我々の多様体に対して、これは [KY22] における大域的一般加速度を得るための開問題である。
関連論文リスト
- Convergence and complexity of block majorization-minimization for
constrained block-Riemannian optimization [20.128697661112618]
ブロック化最小化(BMM)は、非排他的部分空間推定のための単純な反復勾配である。
我々の分析はユークリッドの制約を明示的に用いている。
論文 参考訳(メタデータ) (2023-12-16T05:40:19Z) - Decentralized Riemannian Conjugate Gradient Method on the Stiefel
Manifold [59.73080197971106]
本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。
これはスティーフェル多様体上の大域収束を達成することを目的としている。
論文 参考訳(メタデータ) (2023-08-21T08:02:16Z) - Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳(メタデータ) (2023-02-01T08:50:48Z) - Explicit Second-Order Min-Max Optimization Methods with Optimal
Convergence Guarantee [96.71652414591051]
本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なニュートン型正規化手法を提案し,解析する。
提案アルゴリズムは,有界集合内に留まるイテレートを生成し,制限されたイテレート関数の項で$O(-2/3)$ギャップに収束することを示す。
論文 参考訳(メタデータ) (2022-10-23T21:24:37Z) - On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity,
Non-Asymptotic Rate and Acceleration [33.247600151322466]
我々は、滑らかな凸関数の標準設定において、AdaGradとその変種についてより深く理解する。
まず、制約のない問題に対して、バニラ AdaGrad の収束率を明示的に拘束する新しい手法を示す。
第二に、平均的な反復ではなく、最後の反復の収束を示すことのできる AdaGrad の変種を提案する。
論文 参考訳(メタデータ) (2022-09-29T14:44:40Z) - Optimization on manifolds: A symplectic approach [127.54402681305629]
本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。
我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
論文 参考訳(メタデータ) (2021-07-23T13:43:34Z) - Acceleration Methods [87.07695512525717]
まず,二次最適化問題を用いて,モメンタムとネスト正則性最適化スキームという2つの主要な手法を導入する。
我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。
次に、emphCatalystとemphAccelerated Hybrid Proximal Extragradientフレームワークの中心にある加速度技術をカバーする。
論文 参考訳(メタデータ) (2021-01-23T17:58:25Z) - Global Riemannian Acceleration in Hyperbolic and Spherical Spaces [0.0]
第1次大域一階法によるユークリッド曲率の加速現象の研究
第一次方法は、加速勾配降下と同じ速度をユークリッド勾配で達成する。
論文 参考訳(メタデータ) (2020-12-07T12:09:30Z) - A Unified Analysis of First-Order Methods for Smooth Games via Integral
Quadratic Constraints [10.578409461429626]
本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。
我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。
一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
論文 参考訳(メタデータ) (2020-09-23T20:02:00Z) - Gradient-Free Methods for Saddle-Point Problem [125.99533416395765]
我々はGasnikov et al., 2017のアプローチを一般化し、不正確な勾配のないオラクルで(確率的な)凸最適化問題を解けるようにした。
我々のアプローチは、$fracnlog n$ の要求するオラクル呼び出しの回数を削減します。
論文の後半では、そのような仮定ができない場合を分析し、この問題を解決する方法の近代化方法に関する一般的なアプローチを提案する。
論文 参考訳(メタデータ) (2020-05-12T16:44:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。