論文の概要: Complexity Guarantees for Polyak Steps with Momentum

• arxiv url: http://arxiv.org/abs/2002.00915v2
• Date: Fri, 3 Jul 2020 15:31:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-04 09:24:14.704441
• Title: Complexity Guarantees for Polyak Steps with Momentum
• Title（参考訳）: モーメント付きポリアクステップの複素性保証
• Authors: Mathieu Barr\'e, Adrien Taylor, Alexandre d'Aspremont
• Abstract要約: そこでは,この知識を最適な値である$f_*$で置き換える。 まず、Polyak ステップによる単純な勾配勾配の古典的な場合よりも若干改善された収束境界を示し、その後、収束保証とともに、Polyak ステップと運動量を持つ加速勾配法を導出する。
• 参考スコア（独自算出の注目度）: 76.97851351276165
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In smooth strongly convex optimization, knowledge of the strong convexity parameter is critical for obtaining simple methods with accelerated rates. In this work, we study a class of methods, based on Polyak steps, where this knowledge is substituted by that of the optimal value, $f_*$. We first show slightly improved convergence bounds than previously known for the classical case of simple gradient descent with Polyak steps, we then derive an accelerated gradient method with Polyak steps and momentum, along with convergence guarantees.
• Abstract（参考訳）: 滑らかな凸最適化において、強い凸パラメータの知識は加速率の単純な方法を得るのに不可欠である。 本研究では、Polyakのステップに基づいて、この知識を最適な値である$f_*$で置き換える手法のクラスについて検討する。 まず,ポリアックステップを用いた単純な勾配降下の古典的な場合よりもわずかに収束限界が改善され,ポリアックステップと運動量を持つ加速度勾配法と収束保証が得られた。

関連論文リスト

• Non-Convex Stochastic Composite Optimization with Polyak Momentum [25.060477077577154]
  一般化近位勾配は広く用いられる勾配降下法(SGD)の強力な一般化である。 しかし、メソッドがマシン内の多くのアプリケーションに収束しないことは知られている。
  論文  参考訳（メタデータ） (2024-03-05T13:43:58Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• Acceleration and Implicit Regularization in Gaussian Phase Retrieval [5.484345596034159]
  この設定では、Polyak や Nesterov の運動量の暗黙的な正規化による手法が、よい凸降下を保証することを証明している。 実験的な証拠は、これらの手法が実際には勾配降下よりも早く収束していることを示している。
  論文  参考訳（メタデータ） (2023-11-21T04:10:03Z)
• Polynomial Preconditioning for Gradient Methods [9.13755431537592]
  対称性によって生成される新しいプレコンディショナー群を提案する。 条件番号の証明可能な改善を施した一階最適化手法を提供する。 グラディエントおよびファストグラディエントメソッドにプレコンディショニングを組み込む方法を示し、それに対応するグローバルな複雑性を確立する。
  論文  参考訳（メタデータ） (2023-01-30T18:55:38Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• On the Convergence Rates of Policy Gradient Methods [9.74841674275568]
  有限状態部分空間における幾何的に割引された支配問題を考える。 試料中の直交勾配のパラリゼーションにより、勾配の一般的な複雑さを解析できることが示される。
  論文  参考訳（メタデータ） (2022-01-19T07:03:37Z)
• A Discrete Variational Derivation of Accelerated Methods in Optimization [68.8204255655161]
  最適化のための異なる手法を導出できる変分法を導入する。 我々は1対1の対応において最適化手法の2つのファミリを導出する。 自律システムのシンプレクティシティの保存は、ここでは繊維のみに行われる。
  論文  参考訳（メタデータ） (2021-06-04T20:21:53Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。