論文の概要: Understanding Nesterov's Acceleration via Proximal Point Method

• arxiv url: http://arxiv.org/abs/2005.08304v3
• Date: Thu, 2 Jun 2022 13:16:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 06:01:29.320729
• Title: Understanding Nesterov's Acceleration via Proximal Point Method
• Title（参考訳）: 近位点法によるネステロフ加速度の理解
• Authors: Kwangjun Ahn, Suvrit Sra
• Abstract要約: 近似点法(PPM)は最適化アルゴリズムを設計するためのビルディングブロックとしてよく用いられる。 本研究では、PPM法を用いて、Nesterovの加速度勾配法(AGM)の異なるバージョンの収束解析とともに、概念的に単純な導出を提供する。
• 参考スコア（独自算出の注目度）: 52.99237600875452
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The proximal point method (PPM) is a fundamental method in optimization that is often used as a building block for designing optimization algorithms. In this work, we use the PPM method to provide conceptually simple derivations along with convergence analyses of different versions of Nesterov's accelerated gradient method (AGM). The key observation is that AGM is a simple approximation of PPM, which results in an elementary derivation of the update equations and stepsizes of AGM. This view also leads to a transparent and conceptually simple analysis of AGM's convergence by using the analysis of PPM. The derivations also naturally extend to the strongly convex case. Ultimately, the results presented in this paper are of both didactic and conceptual value; they unify and explain existing variants of AGM while motivating other accelerated methods for practically relevant settings.
• Abstract（参考訳）: 近点法(PPM)は最適化の基本的な手法であり、最適化アルゴリズムを設計するためのビルディングブロックとしてよく用いられる。 本研究では,ppm法を用いて概念的に単純な導出とネステロフ加速勾配法(agm)の異なるバージョンの収束解析を行う。 鍵となる観察は、AGMはPPMの単純な近似であり、その結果、更新方程式の基本的な導出とAGMの段階化をもたらすことである。 この見解はまた、PPMの分析を用いて、AGMの収束を透明かつ概念的にシンプルに分析する。 導出は自然に強凸の場合にも拡張される。 最終的に、本論文で提示された結果はディダクティック値と概念値の両方であり、既存のagmの変種を統一し、説明し、実際に関連する設定のために他の加速法を動機付けている。

関連論文リスト

• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• Efficient Consensus Model based on Proximal Gradient Method applied to Convolutional Sparse Problems [2.335152769484957]
  我々は、勾配近似(PG)アプローチに基づく効率的なコンセンサスアルゴリズムの理論解析を導出し、詳述する。 提案アルゴリズムは、異常検出タスクに対する別の特別な畳み込み問題にも適用できる。
  論文  参考訳（メタデータ） (2020-11-19T20:52:48Z)
• Majorization Minimization Methods for Distributed Pose Graph Optimization with Convergence Guarantees [0.76146285961466]
  提案手法は軽度条件下で一階臨界点に収束することが保証されていることを示す。 提案手法は分散PGOの近位演算子に依存するため,収束速度を著しく向上させることができる。 この研究の有効性は、2Dおよび3D SLAMデータセットの応用を通じて検証される。
  論文  参考訳（メタデータ） (2020-03-11T15:18:33Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Average-case Acceleration Through Spectral Density Estimation [35.01931431231649]
  ランダム2次問題の平均ケース解析のためのフレームワークを開発する。 この分析で最適なアルゴリズムを導出する。 我々は, 均一性, マルテンコ・パストゥル, 指数分布の明示的アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-02-12T01:44:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。