論文の概要: Escaping strict saddle points of the Moreau envelope in nonsmooth
optimization
- arxiv url: http://arxiv.org/abs/2106.09815v1
- Date: Thu, 17 Jun 2021 20:58:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-21 14:13:54.746902
- Title: Escaping strict saddle points of the Moreau envelope in nonsmooth
optimization
- Title(参考訳): 非スムース最適化におけるモロー包絡の厳密な鞍点の回避
- Authors: Damek Davis and Mateo D\'iaz and Dmitriy Drusvyatskiy
- Abstract要約: モローエンベロープに適用された耳介摂動勾配の不正確な類似を解析した。
主な結論は、非滑らかな最適化のための様々なアルゴリズムがモローエンベロープの厳密なサドル点を制御された速度で回避できるということである。
- 参考スコア(独自算出の注目度): 4.193940401637567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has shown that stochastically perturbed gradient methods can
efficiently escape strict saddle points of smooth functions. We extend this
body of work to nonsmooth optimization, by analyzing an inexact analogue of a
stochastically perturbed gradient method applied to the Moreau envelope. The
main conclusion is that a variety of algorithms for nonsmooth optimization can
escape strict saddle points of the Moreau envelope at a controlled rate. The
main technical insight is that typical algorithms applied to the proximal
subproblem yield directions that approximate the gradient of the Moreau
envelope in relative terms.
- Abstract(参考訳): 近年の研究では、確率摂動勾配法が滑らかな関数の厳密な鞍点を効率的に回避できることが示されている。
本研究は,モローエンベロープに適用した確率摂動勾配法の類似性を解析し,非スムース最適化に拡張する。
主な結論は、非スムース最適化のための様々なアルゴリズムは、モローエンベロープの厳密な鞍点を制御速度で回避できるということである。
主な技術的洞察は、モローエンベロープの勾配を相対的に近似する近位サブプロブレム収差方向に適用される典型的なアルゴリズムである。
関連論文リスト
- Dealing with unbounded gradients in stochastic saddle-point optimization [11.7936092899842]
本研究では,凸凹関数のサドル点を求める一階法の性能について検討する。
悪名高い課題は、最適化中に勾配が任意に大きくなることだ。
本稿では,反復を安定化し,有意義な性能保証を与える,シンプルで効果的な正則化手法を提案する。
論文 参考訳(メタデータ) (2024-02-21T16:13:49Z) - Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
論文 参考訳(メタデータ) (2023-08-31T14:16:30Z) - Adaptive Proximal Gradient Method for Convex Optimization [18.681222155879656]
凸最適化における2つの基本的な一階法、すなわち勾配降下法(GD)と近位勾配法(ProxGD)について検討する。
我々の焦点は、スムーズな関数の局所曲率情報を活用することによって、これらのアルゴリズムを完全に適応させることである。
本稿では,GD と ProxGD の適応バージョンを提案する。
論文 参考訳(メタデータ) (2023-08-04T11:37:08Z) - Adaptive Strategies in Non-convex Optimization [5.279475826661643]
アルゴリズムは、そのようなパラメータの事前知識を必要としない場合、あるパラメータに適応すると言われている。
この論文は3つのシナリオにおける適応アルゴリズムの研究を示す。
論文 参考訳(メタデータ) (2023-06-17T06:52:05Z) - Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳(メタデータ) (2023-06-02T04:21:59Z) - Optimization without Backpropagation [0.0]
前向き勾配は、自己微分のバックプロパゲーションをバイパスするために導入された。
我々は、最良近似前方勾配を得る最適条件を導出する。
論文 参考訳(メタデータ) (2022-09-13T21:09:34Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。