論文の概要: Riemannian accelerated gradient methods via extrapolation

• arxiv url: http://arxiv.org/abs/2208.06619v1
• Date: Sat, 13 Aug 2022 10:31:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:27:25.679797
• Title: Riemannian accelerated gradient methods via extrapolation
• Title（参考訳）: 外挿によるリーマン加速勾配法
• Authors: Andi Han, Bamdev Mishra, Pratik Jawanpuria, Junbin Gao
• Abstract要約: 本稿では,勾配降下法から反復が生成された場合,加速されたスキームが最適収束率を比例的に達成することを示す。 本実験は, 新規加速戦略の実用的メリットを検証した。
• 参考スコア（独自算出の注目度）: 40.23168342389821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a simple acceleration scheme for Riemannian gradient methods by extrapolating iterates on manifolds. We show when the iterates are generated from Riemannian gradient descent method, the accelerated scheme achieves the optimal convergence rate asymptotically and is computationally more favorable than the recently proposed Riemannian Nesterov accelerated gradient methods. Our experiments verify the practical benefit of the novel acceleration strategy.
• Abstract（参考訳）: 本稿では,多様体上のイテレートを外挿することで,リーマン勾配法に対する単純な加速度法を提案する。 本手法は,リーマン勾配降下法からイテレートが生成される場合,漸近的に最適収束率を達成し,最近提案するリーマン勾配勾配法よりも計算上有利であることを示す。 本実験は, 新規加速戦略の実用的メリットを検証した。

関連論文リスト

• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Acceleration and Implicit Regularization in Gaussian Phase Retrieval [5.484345596034159]
  この設定では、Polyak や Nesterov の運動量の暗黙的な正規化による手法が、よい凸降下を保証することを証明している。 実験的な証拠は、これらの手法が実際には勾配降下よりも早く収束していることを示している。
  論文  参考訳（メタデータ） (2023-11-21T04:10:03Z)
• A Variational Perspective on High-Resolution ODEs [10.036727981085223]
  強制オイラー・ラグランジュ方程式を用いた凸関数の制約のない最小化を考える。 ネステロフの加速勾配法を用いて、勾配ノルム最小化のための高速収束率を求める。
  論文  参考訳（メタデータ） (2023-11-03T16:00:40Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Accelerated gradient methods for nonconvex optimization: Escape trajectories from strict saddle points and convergence to local minima [9.66353475649122]
  本稿ではその問題を考察する。 加速勾配法の一般一般の凸挙動を理解すること。 非アプティック関数。 これは、運動量可変ネステロフの加速法(NAG)が、厳密なサドル点をほぼ確実に避けていることを示している。
  論文  参考訳（メタデータ） (2023-07-13T19:11:07Z)
• A Riemannian Accelerated Proximal Extragradient Framework and its Implications [52.31775617527208]
  高速ユークリッド法を得るための強力なフレームワークである citetmonteiro2013accelerated の EmphAccelerated Hybrid Proximal Extragradient (A-HPE) 法を再検討する。
  論文  参考訳（メタデータ） (2021-11-04T11:32:20Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。