論文の概要: Understanding Accelerated Gradient Methods: Lyapunov Analyses and Hamiltonian Assisted Interpretations

• arxiv url: http://arxiv.org/abs/2304.10063v1
• Date: Thu, 20 Apr 2023 03:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 14:39:46.582456
• Title: Understanding Accelerated Gradient Methods: Lyapunov Analyses and Hamiltonian Assisted Interpretations
• Title（参考訳）: 加速勾配法を理解する:リャプノフ解析とハミルトン支援解釈
• Authors: Penghui Fu and Zhiqiang Tan
• Abstract要約: 我々は、滑らかな凸関数と強凸関数を最小化するために、以前研究したよりも一般的な1次アルゴリズムの2つのクラスを定式化する。 我々は、新しい離散リアプノフ解析を通じて、強い凸条件と一般的な凸条件でネステロフの手法と一致する加速収束率を達成するのに十分な条件を確立する。 我々は、ハミルトン関数といくつかの解釈可能な操作を直接ベースとした、ハミルトン支援勾配法と呼ばれる新しい離散アルゴリズムのクラスを提案する。
• 参考スコア（独自算出の注目度）: 1.0152838128195465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We formulate two classes of first-order algorithms more general than previously studied for minimizing smooth and strongly convex or, respectively, smooth and convex functions. We establish sufficient conditions, via new discrete Lyapunov analyses, for achieving accelerated convergence rates which match Nesterov's methods in the strongly and general convex settings. Next, we study the convergence of limiting ordinary differential equations (ODEs) and point out currently notable gaps between the convergence properties of the corresponding algorithms and ODEs. Finally, we propose a novel class of discrete algorithms, called the Hamiltonian assisted gradient method, directly based on a Hamiltonian function and several interpretable operations, and then demonstrate meaningful and unified interpretations of our acceleration conditions.
• Abstract（参考訳）: 我々は、滑らかな凸関数と強い凸関数をそれぞれ最小化するために、以前研究したよりも一般的な1次アルゴリズムの2つのクラスを定式化する。 我々は、新しい離散リアプノフ解析により、強凸および一般凸設定においてネステロフ法と一致する加速収束率を達成するための十分条件を確立する。 次に、制限常微分方程式(odes)の収束を研究し、対応するアルゴリズムとodeの収束特性の間に現在注目すべきギャップを指摘する。 最後に、ハミルトン関数といくつかの解釈可能な演算を直接ベースとして、ハミルトニアン補助勾配法と呼ばれる新しい離散アルゴリズムのクラスを提案し、その上で、我々の加速条件の有意義かつ統一的な解釈を示す。

関連論文リスト

• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Robust empirical risk minimization via Newton's method [9.797319790710711]
  実験的リスク最小化のためのニュートン法の新しい変種について検討した。 目的関数の勾配と Hessian は、ロバストな推定器に置き換えられる。 また,共役勾配法に基づくニュートン方向のロバストな解を求めるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-30T18:54:54Z)
• First-Order Algorithms for Nonlinear Generalized Nash Equilibrium Problems [88.58409977434269]
  非線形一般化ナッシュ均衡問題(NGNEP)における平衡計算の問題を考える。 我々の貢献は、2次ペナルティ法と拡張ラグランジアン法に基づく2つの単純な一階アルゴリズムフレームワークを提供することである。 これらのアルゴリズムに対する漸近的理論的保証を提供する。
  論文  参考訳（メタデータ） (2022-04-07T00:11:05Z)
• Whiplash Gradient Descent Dynamics [2.0508733018954843]
  凸関数に対するWhiplash系に対するシンプレクティック収束解析を導入する。 本研究では,アルゴリズムの性能を様々なコストで検討し,収束率を解析するための実践的方法論を提供する。
  論文  参考訳（メタデータ） (2022-03-04T05:47:26Z)
• Convergence Rates of Two-Time-Scale Gradient Descent-Ascent Dynamics for Solving Nonconvex Min-Max Problems [2.0305676256390934]
  連立勾配降下指数アルゴリズムの連続時間変動の有限時間特性を特徴付ける。 連続時間アルゴリズムの挙動に関する結果は、離散時間アルゴリズムの収束特性を高めるために用いられる。
  論文  参考訳（メタデータ） (2021-12-17T15:51:04Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• Differentially Private Accelerated Optimization Algorithms [0.7874708385247353]
  微分プライベート最適化アルゴリズムの2つのクラスを示す。 最初のアルゴリズムはPolyakのヘビーボール法にインスパイアされている。 アルゴリズムの第2のクラスは、ネステロフの加速勾配法に基づいている。
  論文  参考訳（メタデータ） (2020-08-05T08:23:01Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。