論文の概要: Escaping strict saddle points of the Moreau envelope in nonsmooth optimization

• arxiv url: http://arxiv.org/abs/2106.09815v1
• Date: Thu, 17 Jun 2021 20:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-21 14:13:54.746902
• Title: Escaping strict saddle points of the Moreau envelope in nonsmooth optimization
• Title（参考訳）: 非スムース最適化におけるモロー包絡の厳密な鞍点の回避
• Authors: Damek Davis and Mateo D\'iaz and Dmitriy Drusvyatskiy
• Abstract要約: モローエンベロープに適用された耳介摂動勾配の不正確な類似を解析した。 主な結論は、非滑らかな最適化のための様々なアルゴリズムがモローエンベロープの厳密なサドル点を制御された速度で回避できるということである。
• 参考スコア（独自算出の注目度）: 4.193940401637567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that stochastically perturbed gradient methods can efficiently escape strict saddle points of smooth functions. We extend this body of work to nonsmooth optimization, by analyzing an inexact analogue of a stochastically perturbed gradient method applied to the Moreau envelope. The main conclusion is that a variety of algorithms for nonsmooth optimization can escape strict saddle points of the Moreau envelope at a controlled rate. The main technical insight is that typical algorithms applied to the proximal subproblem yield directions that approximate the gradient of the Moreau envelope in relative terms.
• Abstract（参考訳）: 近年の研究では、確率摂動勾配法が滑らかな関数の厳密な鞍点を効率的に回避できることが示されている。 本研究は,モローエンベロープに適用した確率摂動勾配法の類似性を解析し,非スムース最適化に拡張する。 主な結論は、非スムース最適化のための様々なアルゴリズムは、モローエンベロープの厳密な鞍点を制御速度で回避できるということである。 主な技術的洞察は、モローエンベロープの勾配を相対的に近似する近位サブプロブレム収差方向に適用される典型的なアルゴリズムである。

関連論文リスト

• Rethinking the Principle of Gradient Smooth Methods in Model Explanation [2.6819730646697972]
  グラディエント・スムーシング(Gradient Smoothing)は、勾配モデル記述法における雑音の低減に有効な手法である。 これらの知見に基づいて適応的な勾配平滑化手法AdaptGradを提案する。
  論文  参考訳（メタデータ） (2024-10-10T08:24:27Z)
• Gradient-Variation Online Learning under Generalized Smoothness [56.38427425920781]
  勾配変分オンライン学習は、オンライン関数の勾配の変化とともにスケールする後悔の保証を達成することを目的としている。 ニューラルネットワーク最適化における最近の取り組みは、一般化された滑らかさ条件を示唆し、滑らかさは勾配ノルムと相関する。 ゲームにおける高速収束と拡張逆最適化への応用について述べる。
  論文  参考訳（メタデータ） (2024-08-17T02:22:08Z)
• Dealing with unbounded gradients in stochastic saddle-point optimization [9.983014605039658]
  本研究では,凸凹関数のサドル点を求める一階法の性能について検討する。 悪名高い課題は、最適化中に勾配が任意に大きくなることだ。 本稿では,反復を安定化し,有意義な性能保証を与える,シンプルで効果的な正則化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T16:13:49Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Adaptive Proximal Gradient Method for Convex Optimization [18.681222155879656]
  凸最適化における2つの基本的な一階法、すなわち勾配降下法(GD)と近位勾配法(ProxGD)について検討する。 我々の焦点は、スムーズな関数の局所曲率情報を活用することによって、これらのアルゴリズムを完全に適応させることである。 本稿では,GD と ProxGD の適応バージョンを提案する。
  論文  参考訳（メタデータ） (2023-08-04T11:37:08Z)
• Adaptive Strategies in Non-convex Optimization [5.279475826661643]
  アルゴリズムは、そのようなパラメータの事前知識を必要としない場合、あるパラメータに適応すると言われている。 この論文は3つのシナリオにおける適応アルゴリズムの研究を示す。
  論文  参考訳（メタデータ） (2023-06-17T06:52:05Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• Optimization without Backpropagation [0.0]
  前向き勾配は、自己微分のバックプロパゲーションをバイパスするために導入された。 我々は、最良近似前方勾配を得る最適条件を導出する。
  論文  参考訳（メタデータ） (2022-09-13T21:09:34Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。