論文の概要: Adaptive proximal gradient methods are universal without approximation
- arxiv url: http://arxiv.org/abs/2402.06271v1
- Date: Fri, 9 Feb 2024 09:37:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 17:29:59.456254
- Title: Adaptive proximal gradient methods are universal without approximation
- Title(参考訳): 適応近位勾配法は近似なしで普遍的である
- Authors: Konstantinos A. Oikonomidis, Emanuel Laude, Puya Latafat, Andreas
Themelis and Panagiotis Patrinos
- Abstract要約: 凸問題に対する適応的近位勾配法は従来のリプシッツ的仮定に限らないことを示す。
解析の結果,直線探索を含まない手法のクラスは,ただの局所H'older勾配連続性の下でまだ収束していることが明らかとなった。
- 参考スコア(独自算出の注目度): 4.261449333649163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We show that adaptive proximal gradient methods for convex problems are not
restricted to traditional Lipschitzian assumptions. Our analysis reveals that a
class of linesearch-free methods is still convergent under mere local H\"older
gradient continuity, covering in particular continuously differentiable
semi-algebraic functions. To mitigate the lack of local Lipschitz continuity,
popular approaches revolve around $\varepsilon$-oracles and/or linesearch
procedures. In contrast, we exploit plain H\"older inequalities not entailing
any approximation, all while retaining the linesearch-free nature of adaptive
schemes. Furthermore, we prove full sequence convergence without prior
knowledge of local H\"older constants nor of the order of H\"older continuity.
In numerical experiments we present comparisons to baseline methods on diverse
tasks from machine learning covering both the locally and the globally H\"older
setting.
- Abstract(参考訳): 凸問題に対する適応的近位勾配法は従来のリプシッツ的仮定に限らないことを示す。
解析の結果、ラインサーチフリーな手法のクラスは、ただ単に局所的なh\"oldergradient continuityの下で収束し、特に連続微分可能な半代数関数をカバーすることが明らかとなった。
局所的なリプシッツ連続性の欠如を軽減するため、一般的なアプローチは$\varepsilon$-oraclesおよび/またはlinesearch手順を中心に展開した。
対照的に、適応スキームの直線探索自由性を維持しながら、近似を含まない平易なH\"古い不等式を利用する。
さらに、局所的なH\"older定数の事前知識やH\"older連続性の順序がなければ、全列収束を証明できる。
数値実験では,ローカル設定とグローバルh\"older設定の両方をカバーする機械学習から,さまざまなタスクにおけるベースライン手法との比較を行う。
関連論文リスト
- On the Last-Iterate Convergence of Shuffling Gradient Methods [25.831462008050387]
対象値に関して勾配法をシャッフルする際の最終点収束率を示す。
我々の結果は、(ほぼ)既存のラストイテレートの下限と一致するか、あるいは、平均的なイテレートの前の最高の上限と同速である。
論文 参考訳(メタデータ) (2024-03-12T15:01:17Z) - Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。
この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
論文 参考訳(メタデータ) (2023-11-04T11:12:24Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳(メタデータ) (2023-06-02T04:21:59Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳(メタデータ) (2023-02-02T10:37:23Z) - Learning Globally Smooth Functions on Manifolds [94.22412028413102]
スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。
本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。
軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
論文 参考訳(メタデータ) (2022-10-01T15:45:35Z) - On the Convergence Rates of Policy Gradient Methods [9.74841674275568]
有限状態部分空間における幾何的に割引された支配問題を考える。
試料中の直交勾配のパラリゼーションにより、勾配の一般的な複雑さを解析できることが示される。
論文 参考訳(メタデータ) (2022-01-19T07:03:37Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳(メタデータ) (2021-10-20T02:25:25Z) - Cyclic Coordinate Dual Averaging with Extrapolation [22.234715500748074]
単調作用素を用いた変分不等式(VI)問題の一般クラスに適用可能な新しいブロック座標法を提案する。
得られた収束境界は、全勾配法の最適収束境界と一致する。
座標ブロックが$m$の場合、我々の境界における勾配リプシッツ定数は、従来のユークリッドのリプシッツ定数と比較して$sqrtm$よりも大きくなることはない。
論文 参考訳(メタデータ) (2021-02-26T00:28:58Z) - A General Family of Stochastic Proximal Gradient Methods for Deep
Learning [32.8887001526983]
本稿では、任意の正凸器と半連続正則化器を利用できる近位勾配降下のための統一的なフレームワークを提案する。
本稿では, ProxGenの収束を解析し, プレコンディショナーを使わずに, ProxGenの全ファミリーが勾配近位降下と同じ収束率を持つことを示す。
論文 参考訳(メタデータ) (2020-07-15T05:13:33Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳(メタデータ) (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。