論文の概要: Adaptive first-order methods revisited: Convex optimization without
Lipschitz requirements
- arxiv url: http://arxiv.org/abs/2107.08011v1
- Date: Fri, 16 Jul 2021 16:59:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-19 14:28:50.393764
- Title: Adaptive first-order methods revisited: Convex optimization without
Lipschitz requirements
- Title(参考訳): 適応一階法の再検討:リプシッツ要求のない凸最適化
- Authors: Kimon Antonakopoulos and Panayotis Mertikopoulos
- Abstract要約: リプシッツの連続性や滑らか性に欠ける凸最小化問題に対する適応的な一階法の一群を提案する。
適応ミラー降下法 (AdaMir) は, 比較的連続的あるいは滑らかな問題において, min-max 最適率を同時に達成することにより, このギャップを埋めることを目的としている。
- 参考スコア(独自算出の注目度): 34.70493893170415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new family of adaptive first-order methods for a class of convex
minimization problems that may fail to be Lipschitz continuous or smooth in the
standard sense. Specifically, motivated by a recent flurry of activity on
non-Lipschitz (NoLips) optimization, we consider problems that are continuous
or smooth relative to a reference Bregman function - as opposed to a global,
ambient norm (Euclidean or otherwise). These conditions encompass a wide range
of problems with singular objectives, such as Fisher markets, Poisson
tomography, D-design, and the like. In this setting, the application of
existing order-optimal adaptive methods - like UnixGrad or AcceleGrad - is not
possible, especially in the presence of randomness and uncertainty. The
proposed method - which we call adaptive mirror descent (AdaMir) - aims to
close this gap by concurrently achieving min-max optimal rates in problems that
are relatively continuous or smooth, including stochastic ones.
- Abstract(参考訳): 標準意味でのリプシッツ連続あるいは滑らかでないような凸最小化問題のクラスに対する適応的一階法の新しいファミリーを提案する。
具体的には、非Lipschitz (NoLips) 最適化における最近の活動の激しさに動機づけられた、参照ブレグマン関数に対して連続的あるいは滑らかな問題を考える。
これらの条件は、フィッシャー・マーケット、ポアソン・トモグラフィー、D-デザインなど、特定の目的を持つ幅広い問題を含んでいる。
この設定では、UnixGradやAcceleGradのような既存の順序最適適応手法の適用は、特にランダム性と不確実性の存在では不可能である。
適応ミラー降下(AdaMir)と呼ばれる手法は,確率的を含む比較的連続的あるいは滑らかな問題において,min-max最適率を同時に達成することにより,このギャップを埋めることを目的としている。
関連論文リスト
- Nonsmooth Projection-Free Optimization with Functional Constraints [14.413404128420352]
本稿では,制約付き非平滑凸計算のための段階的アルゴリズムを提案する。
提案アルゴリズムは一般凸関数不等式制約で非滑らかな問題を扱うことができる。
決定論的下位段階が下位段階に置き換わる際にも同様のパフォーマンスが観察される。
論文 参考訳(メタデータ) (2023-11-18T23:06:33Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - Smoothing the Edges: A General Framework for Smooth Optimization in
Sparse Regularization using Hadamard Overparametrization [0.8029049649310213]
本稿では、()空間の正規化を$ell_q$ $ell_p,q$でスムーズに最適化するためのフレームワークを提案する。
ここでソリューションを見つけることは、オフザシェルフ()スパシティと互換性がある。
論文 参考訳(メタデータ) (2023-07-07T13:06:12Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳(メタデータ) (2023-02-02T10:37:23Z) - Adaptive proximal algorithms for convex optimization under local
Lipschitz continuity of the gradient [4.478941279527423]
バックトラックライン探索は、局所リプシッツ勾配を持つ連続微分可能関数を最小化するデファクトアプローチである。
近年、凸配置では線探索を完全に避けることが可能であることが示されている。
局所滑らか度係数の新しい推定値を用いた適応的近位勾配法 adaPG を提案する。
論文 参考訳(メタデータ) (2023-01-11T12:19:28Z) - Nest Your Adaptive Algorithm for Parameter-Agnostic Nonconvex Minimax
Optimization [24.784754071913255]
AdaGradやAMSのような適応アルゴリズムは、非特異なパラメータの堅牢性に成功している。
我々はNeAdaが最適に近いレベルの知識を実現できることを示す。
論文 参考訳(メタデータ) (2022-06-01T20:11:05Z) - STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。
我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
論文 参考訳(メタデータ) (2021-11-01T15:43:36Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳(メタデータ) (2020-12-11T08:28:51Z) - Adaptive extra-gradient methods for min-max optimization and games [35.02879452114223]
本稿では,初期の反復で観測された勾配データの幾何を自動的に活用する,minmax最適化アルゴリズムの新たなファミリーを提案する。
この適応機構により,提案手法は問題がスムーズかどうかを自動的に検出する。
滑らかな問題における$mathcalO (1/varepsilon)$反復と、非滑らかな問題における$mathcalO (1/varepsilon)$反復に収束する。
論文 参考訳(メタデータ) (2020-10-22T22:54:54Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Gradient-Free Methods for Saddle-Point Problem [125.99533416395765]
我々はGasnikov et al., 2017のアプローチを一般化し、不正確な勾配のないオラクルで(確率的な)凸最適化問題を解けるようにした。
我々のアプローチは、$fracnlog n$ の要求するオラクル呼び出しの回数を削減します。
論文の後半では、そのような仮定ができない場合を分析し、この問題を解決する方法の近代化方法に関する一般的なアプローチを提案する。
論文 参考訳(メタデータ) (2020-05-12T16:44:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。