論文の概要: Adaptive proximal gradient methods are universal without approximation

• arxiv url: http://arxiv.org/abs/2402.06271v2
• Date: Fri, 5 Jul 2024 10:03:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 00:03:17.224956
• Title: Adaptive proximal gradient methods are universal without approximation
• Title（参考訳）: 適応近位勾配法は近似なしで普遍的である
• Authors: Konstantinos A. Oikonomidis, Emanuel Laude, Puya Latafat, Andreas Themelis, Panagiotis Patrinos,
• Abstract要約: 凸問題に対する適応的近位勾配法は従来のリプシッツ的仮定に限らないことを示す。 解析の結果,直線探索を含まない手法のクラスは,ただの局所H'older勾配連続性の下でまだ収束していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 3.972098060592836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that adaptive proximal gradient methods for convex problems are not restricted to traditional Lipschitzian assumptions. Our analysis reveals that a class of linesearch-free methods is still convergent under mere local H\"older gradient continuity, covering in particular continuously differentiable semi-algebraic functions. To mitigate the lack of local Lipschitz continuity, popular approaches revolve around $\varepsilon$-oracles and/or linesearch procedures. In contrast, we exploit plain H\"older inequalities not entailing any approximation, all while retaining the linesearch-free nature of adaptive schemes. Furthermore, we prove full sequence convergence without prior knowledge of local H\"older constants nor of the order of H\"older continuity. Numerical experiments make comparisons with baseline methods on diverse tasks from machine learning covering both the locally and the globally H\"older setting.
• Abstract（参考訳）: 凸問題に対する適応的近位勾配法は従来のリプシッツ的仮定に限らないことを示す。 解析の結果、線形探索自由な手法のクラスは、局所H\"古い勾配の連続性の下でも収束し、特に連続的に微分可能な半代数関数をカバーしていることが明らかとなった。 局所的なリプシッツ連続性の欠如を軽減するため、一般的なアプローチは$\varepsilon$-oraclesや/または行探索手順を中心に展開する。 対照的に、適応スキームの直線探索自由性を維持しながら、近似を含まない平易なH\"古い不等式を利用する。 さらに、局所的なH\"older定数の事前の知識やH\"older連続性の順序がなければ、全列収束を証明できる。 数値実験は、局所的およびグローバルなH\"古い設定の両方をカバーする機械学習から、多様なタスクのベースライン手法と比較する。

関連論文リスト

• An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes [17.804065824245402]
  機械学習の応用では、各損失関数は非負であり、平方根とその実数値平方根の構成として表すことができる。 本稿では, ガウス・ニュートン法やレフスカルト法を適用して, 滑らかだが非負な関数の平均を最小化する方法を示す。
  論文  参考訳（メタデータ） (2024-07-05T08:53:06Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
  凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。 最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
  論文  参考訳（メタデータ） (2023-06-02T04:21:59Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)
• On the Convergence Rates of Policy Gradient Methods [9.74841674275568]
  有限状態部分空間における幾何的に割引された支配問題を考える。 試料中の直交勾配のパラリゼーションにより、勾配の一般的な複雑さを解析できることが示される。
  論文  参考訳（メタデータ） (2022-01-19T07:03:37Z)
• Cyclic Coordinate Dual Averaging with Extrapolation [22.234715500748074]
  単調作用素を用いた変分不等式(VI)問題の一般クラスに適用可能な新しいブロック座標法を提案する。 得られた収束境界は、全勾配法の最適収束境界と一致する。 座標ブロックが$m$の場合、我々の境界における勾配リプシッツ定数は、従来のユークリッドのリプシッツ定数と比較して$sqrtm$よりも大きくなることはない。
  論文  参考訳（メタデータ） (2021-02-26T00:28:58Z)
• A General Family of Stochastic Proximal Gradient Methods for Deep Learning [32.8887001526983]
  本稿では、任意の正凸器と半連続正則化器を利用できる近位勾配降下のための統一的なフレームワークを提案する。 本稿では, ProxGenの収束を解析し, プレコンディショナーを使わずに, ProxGenの全ファミリーが勾配近位降下と同じ収束率を持つことを示す。
  論文  参考訳（メタデータ） (2020-07-15T05:13:33Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。