論文の概要: Accelerated Riemannian Optimization: Handling Constraints with a Prox to Bound Geometric Penalties

• arxiv url: http://arxiv.org/abs/2211.14645v1
• Date: Sat, 26 Nov 2022 19:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 20:25:47.274378
• Title: Accelerated Riemannian Optimization: Handling Constraints with a Prox to Bound Geometric Penalties
• Title（参考訳）: 加速されたリーマン最適化:幾何学的罰則の接点付き制約を扱う
• Authors: David Mart\'inez-Rubio and Sebastian Pokutta
• Abstract要約: 本研究では,スムーズな測地関数の最適化のために,グローバルに高速化された一階法を提案する。 我々はネステロフの加速降下と同じ収束率を乗法コンパクト集合まで達成する。
• 参考スコア（独自算出の注目度）: 20.711789781518753
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a globally-accelerated, first-order method for the optimization of smooth and (strongly or not) geodesically-convex functions in a wide class of Hadamard manifolds. We achieve the same convergence rates as Nesterov's accelerated gradient descent, up to a multiplicative geometric penalty and log factors. Crucially, we can enforce our method to stay within a compact set we define. Prior fully accelerated works \textit{resort to assuming} that the iterates of their algorithms stay in some pre-specified compact set, except for two previous methods of limited applicability. For our manifolds, this solves the open question in [KY22] about obtaining global general acceleration without iterates assumptively staying in the feasible set.
• Abstract（参考訳）: 本稿では,多種多様なアダマール多様体における滑らかかつ(強,非)測地凸関数の最適化のための大域的加速一階法を提案する。 我々は,乗算幾何学的ペナルティと対数係数まで,ネステロフの加速度勾配降下と同じ収束率を達成する。 重要なことに、私たちはメソッドを私たちが定義するコンパクトな集合内に留まるように強制することができる。 事前の完全に加速されたワーク \textit{resort to assuming} は、アルゴリズムのイテレートがいくつかの事前指定されたコンパクト集合にとどまっていることを仮定する。 我々の多様体に対して、これは [KY22] における大域的一般加速度を得るための開問題である。

関連論文リスト

• Faster Acceleration for Steepest Descent [6.972653925522813]
  非ユークリッド滑らか性仮定の下での凸最適化のための新しい高速化一階法を提案する。 for $ell_p$ norm problems in $d$ dimensions, our method provides a complexity improvement of $O(d1-frac2p)$ in terms of a first-order oracles。
  論文  参考訳（メタデータ） (2024-09-28T01:21:03Z)
• Riemannian Bilevel Optimization [35.42472057648458]
  特に,2次情報を回避することを目的とした,バッチおよび勾配に基づく手法に着目する。 本稿では,一階勾配情報を活用する手法である$mathrmRF2SA$を提案し,分析する。 様々な設定の下で、$epsilon$-stationary 点に達するための明示的な収束率を提供する。
  論文  参考訳（メタデータ） (2024-05-22T20:49:01Z)
• Decentralized Riemannian Conjugate Gradient Method on the Stiefel Manifold [59.73080197971106]
  本稿では,最急降下法よりも高速に収束する一階共役最適化法を提案する。 これはスティーフェル多様体上の大域収束を達成することを目的としている。
  論文  参考訳（メタデータ） (2023-08-21T08:02:16Z)
• Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
  我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。 これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity, Non-Asymptotic Rate and Acceleration [33.247600151322466]
  我々は、滑らかな凸関数の標準設定において、AdaGradとその変種についてより深く理解する。 まず、制約のない問題に対して、バニラ AdaGrad の収束率を明示的に拘束する新しい手法を示す。 第二に、平均的な反復ではなく、最後の反復の収束を示すことのできる AdaGrad の変種を提案する。
  論文  参考訳（メタデータ） (2022-09-29T14:44:40Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Optimization on manifolds: A symplectic approach [127.54402681305629]
  本稿では、最適化問題を解くための一般的な枠組みとして、ディラックの制約付きハミルトン系理論の散逸拡張を提案する。 我々の(加速された)アルゴリズムのクラスは単純で効率的なだけでなく、幅広い文脈にも適用できる。
  論文  参考訳（メタデータ） (2021-07-23T13:43:34Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• Global Riemannian Acceleration in Hyperbolic and Spherical Spaces [0.0]
  第1次大域一階法によるユークリッド曲率の加速現象の研究 第一次方法は、加速勾配降下と同じ速度をユークリッド勾配で達成する。
  論文  参考訳（メタデータ） (2020-12-07T12:09:30Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• Gradient-Free Methods for Saddle-Point Problem [125.99533416395765]
  我々はGasnikov et al., 2017のアプローチを一般化し、不正確な勾配のないオラクルで(確率的な)凸最適化問題を解けるようにした。 我々のアプローチは、$fracnlog n$ の要求するオラクル呼び出しの回数を削減します。 論文の後半では、そのような仮定ができない場合を分析し、この問題を解決する方法の近代化方法に関する一般的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-12T16:44:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。