論文の概要: Polyak's Heavy Ball Method Achieves Accelerated Local Rate of Convergence under Polyak-Lojasiewicz Inequality

• arxiv url: http://arxiv.org/abs/2410.16849v1
• Date: Tue, 22 Oct 2024 09:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:27:20.887369
• Title: Polyak's Heavy Ball Method Achieves Accelerated Local Rate of Convergence under Polyak-Lojasiewicz Inequality
• Title（参考訳）: Polyak-Lojasiewicz不平等下での局所収束速度向上を実現するPolyakの重ボール法
• Authors: Sebastian Kassing, Simon Weissmann,
• Abstract要約: 連続時間と離散時間の両方において、Polyakの球法が非対象関数に収束することを考察する。 この手法は不等式ジャシエヴィチを満たす目的関数のクラスで加速する。
• 参考スコア（独自算出の注目度）: 0.46040036610482665
• License:
• Abstract: In this work, we consider the convergence of Polyak's heavy ball method, both in continuous and discrete time, on a non-convex objective function. We recover the convergence rates derived in [Polyak, U.S.S.R. Comput. Math. and Math. Phys., 1964] for strongly convex objective functions, assuming only validity of the Polyak-Lojasiewicz inequality. In continuous time our result holds for all initializations, whereas in the discrete time setting we conduct a local analysis around the global minima. Our results demonstrate that the heavy ball method does, in fact, accelerate on the class of objective functions satisfying the Polyak-Lojasiewicz inequality. This holds even in the discrete time setting, provided the method reaches a neighborhood of the global minima. Instead of the usually employed Lyapunov-type arguments, our approach leverages a new differential geometric perspective of the Polyak-Lojasiewicz inequality proposed in [Rebjock and Boumal, Math. Program., 2024].
• Abstract（参考訳）: 本研究では,Polyakの重球法の連続時間および離散時間における非凸目的関数への収束について考察する。 我々は(Polyak, U.S.R. Comput. Math. and Math. Phys., 1964)から導出される収束率を、Polyak-Lojasiewiczの不等式のみの妥当性を仮定して、強く凸な目的関数に対して回復する。 連続時間では、我々の結果はすべての初期化を保ち、一方離散時間では、大域ミニマに関する局所解析を行う。 以上の結果から,重球法はポリャク・ロジャシエヴィチの不等式を満たす目的関数のクラスを加速することが示された。 これは、この方法が大域ミニマの近傍に到達すれば、離散時間設定でも成り立つ。 通常用いられるリアプノフ型の議論の代わりに、我々のアプローチは [Rebjock and Boumal, Math. Program., 2024] で提案されたPolyak-Lojasiewiczの不等式の新しい微分幾何学的視点を利用する。

関連論文リスト

• Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
  本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。 私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
  論文  参考訳（メタデータ） (2024-02-06T01:29:35Z)
• A New Random Reshuffling Method for Nonsmooth Nonconvex Finite-sum Optimization [6.314057999212246]
  ランダムリシャッフル技術は、ニューラルネットワークのような大規模アプリケーションで使用される。 本稿では,ノルムPRRが生成するランダムリシャッフル型反復が線形設定に収束することを示す。 最後に,提案手法に適用可能な最終収束率を導出する。
  論文  参考訳（メタデータ） (2023-12-02T07:12:00Z)
• Gradient-free optimization of highly smooth functions: improved analysis and a new algorithm [87.22224691317766]
  この研究は、目的関数が極めて滑らかであるという仮定の下で、ゼロ次ノイズオラクル情報による問題を研究する。 ゼロオーダー射影勾配勾配アルゴリズムを2種類検討する。
  論文  参考訳（メタデータ） (2023-06-03T17:05:13Z)
• PAPAL: A Provable PArticle-based Primal-Dual ALgorithm for Mixed Nash Equilibrium [62.51015395213579]
  2プレイヤゼロサム連続ゲームにおける非AL平衡非漸近目的関数について考察する。 提案アルゴリズムは粒子の動きを利用して$ilon$-mixed Nash平衡のランダム戦略の更新を表現する。
  論文  参考訳（メタデータ） (2023-03-02T05:08:15Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• Unadjusted Langevin algorithm for sampling a mixture of weakly smooth potentials [0.0]
  我々は,ポアンカーの不等式や球体の外側の非強凸の下での収束保証を証明した。 また、滑らかなポテンシャルに対する$L_beta$-Wasserstein 計量の収束も提供する。
  論文  参考訳（メタデータ） (2021-12-17T04:10:09Z)
• Finding Global Minima via Kernel Approximations [90.42048080064849]
  関数評価のみに基づく滑らかな関数のグローバル最小化を考える。 本稿では,近似関数を共同でモデル化し,大域的最小値を求める手法を検討する。
  論文  参考訳（メタデータ） (2020-12-22T12:59:30Z)
• Generating Converging Eigenenergy Bounds for Multidimensional Systems: A New Moment Representation, Algebraic, Quantization Formalism [0.0]
  我々は、これを実現した新しいモーメント表現に基づく量子化形式を示す。 我々は、二次ゼーマン効果に関して、Kravchenko et al (1996 Phys. Rev. A 54 287) の優れた、しかし複雑な解析に一致するか、あるいは超える。 我々の新しいアプローチである直交多項式射影量子化境界法(OPPQ-BM)は、従来の手法の暗黙的有界性を利用する。
  論文  参考訳（メタデータ） (2020-11-30T17:13:45Z)
• Quickly Finding a Benign Region via Heavy Ball Momentum in Non-Convex Optimization [8.452237741722724]
  重球法は連続関数を最適化する一階法である。 重球運動量は,大域的最適点を高速に含む良性相に入るのに役立つことを示す。
  論文  参考訳（メタデータ） (2020-10-04T00:07:06Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。