論文の概要: Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart
for Nonconvex Optimization
- arxiv url: http://arxiv.org/abs/2002.11582v3
- Date: Mon, 27 Apr 2020 15:23:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 15:55:34.500952
- Title: Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart
for Nonconvex Optimization
- Title（参考訳）: 非凸最適化のためのモーメンタムおよびフレキシブルパラメータ再起動による近似勾配アルゴリズム
- Authors: Yi Zhou and Zhe Wang and Kaiyi Ji and Yingbin Liang and Vahid Tarokh
- Abstract要約: アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。
本論文では,非滑らかな問題を解くアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 73.38702974136102
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Various types of parameter restart schemes have been proposed for accelerated
gradient algorithms to facilitate their practical convergence in convex
optimization. However, the convergence properties of accelerated gradient
algorithms under parameter restart remain obscure in nonconvex optimization. In
this paper, we propose a novel accelerated proximal gradient algorithm with
parameter restart (named APG-restart) for solving nonconvex and nonsmooth
problems. Our APG-restart is designed to 1) allow for adopting flexible
parameter restart schemes that cover many existing ones; 2) have a global
sub-linear convergence rate in nonconvex and nonsmooth optimization; and 3)
have guaranteed convergence to a critical point and have various types of
asymptotic convergence rates depending on the parameterization of local
geometry in nonconvex and nonsmooth optimization. Numerical experiments
demonstrate the effectiveness of our proposed algorithm.
- Abstract（参考訳）: 凸最適化における現実的な収束を容易にするために, パラメータ再起動方式が提案されている。
しかし、パラメータ再起動時の加速勾配アルゴリズムの収束特性は、非凸最適化において不明瞭である。
本稿では,非凸および非スムース問題を解くためのパラメータ再スタート(apg-restart)を用いた新しい高速化近位勾配アルゴリズムを提案する。
私たちのAPG-restartは
1) 既存の多くのパラメータをカバーするフレキシブルパラメータ再起動方式を採用することができる。
2)非凸及び非滑らかな最適化における大域的サブ線形収束率;及び
3) 臨界点への収束を保証し、非凸最適化および非滑らか最適化における局所幾何のパラメータ化に依存する様々な漸近収束率を持つ。
数値実験により提案アルゴリズムの有効性が示された。
関連論文リスト
- A simple uniformly optimal method without line search for convex optimization [9.280355951055865]
パラメータが優先されていない凸最適化問題の解法として最適収束率を得るには,線探索が過剰であることを示す。
滑らかな凸最適化のために最適な$mathcalO (1/k2)$収束率を達成できるAC-FGMと呼ばれる新しい勾配降下型アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-16T05:26:03Z) - Parameter-free projected gradient descent [0.0]
我々は、射影勾配 Descent (PGD) を用いて、閉凸集合上の凸関数を最小化する問題を考える。
本稿では,AdaGradのパラメータフリーバージョンを提案する。これは初期化と最適化の距離に適応し,下位段階の平方ノルムの和に適応する。
提案アルゴリズムはプロジェクションステップを処理でき、リスタートを伴わず、従来のPGDと比較して軌道に沿ってリウィーディングや追加評価を行うことができる。
論文 参考訳（メタデータ） (2023-05-31T07:22:44Z) - Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and
Nonsmooth Bi-level Optimization [26.68351521813062]
既存のバイレベルアルゴリズムは、非滑らかまたは超滑らかな正規化器を扱えない。
本稿では,包括的機械学習アプリケーションを高速化するために,暗黙差分法(AID)が有効であることを示す。
論文 参考訳（メタデータ） (2022-03-30T18:53:04Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。