論文の概要: New Perspectives on the Polyak Stepsize: Surrogate Functions and Negative Results
- arxiv url: http://arxiv.org/abs/2505.20219v1
- Date: Mon, 26 May 2025 17:00:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 19:27:27.027634
- Title: New Perspectives on the Polyak Stepsize: Surrogate Functions and Negative Results
- Title（参考訳）: Polyak Stepsizeの新しい視点:サロゲート関数と負の結果
- Authors: Francesco Orabona, Ryan D'Orazio,
- Abstract要約: Polyakのステップサイズは凸最適化の基本的なステップサイズであることが証明されている。
ポリアックの階段の普遍性は、理論的な保証と強い経験的性能を含む多くの変種にも影響を与えた。
多くの理論的結果にもかかわらず、Polyakの立体化の収束特性と欠点に対する我々の理解は、異なる解析で不完全かつ破断である。
- 参考スコア（独自算出の注目度）: 12.40603596036849
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Polyak stepsize has been proven to be a fundamental stepsize in convex optimization, giving near optimal gradient descent rates across a wide range of assumptions. The universality of the Polyak stepsize has also inspired many stochastic variants, with theoretical guarantees and strong empirical performance. Despite the many theoretical results, our understanding of the convergence properties and shortcomings of the Polyak stepsize or its variants is both incomplete and fractured across different analyses. We propose a new, unified, and simple perspective for the Polyak stepsize and its variants as gradient descent on a surrogate loss. We show that each variant is equivalent to minimize a surrogate function with stepsizes that adapt to a guaranteed local curvature. Our general surrogate loss perspective is then used to provide a unified analysis of existing variants across different assumptions. Moreover, we show a number of negative results proving that the non-convergence results in some of the upper bounds is indeed real.
- Abstract（参考訳）: ポリアクのステップサイズは凸最適化の基本的なステップサイズであることが証明され、幅広い仮定でほぼ最適な勾配降下率を与える。
ポリアックの階段の普遍性は、理論的な保証と強い経験的性能を持つ多くの確率的変種にも影響を与えた。
多くの理論的な結果にもかかわらず、Polyakの立体化あるいはその変異の収束性や欠点に対する我々の理解は、異なる解析で不完全かつ破壊的である。
本稿では,Polyakの次数化とその変種に対する新しい,統一的で単純な視点を,代理損失の勾配降下として提案する。
各変種は、保証された局所曲率に適応する段数を持つ代理関数を最小化するために等価であることを示す。
我々の一般的な代理損失パースペクティブは、異なる仮定にまたがる既存の変種を統一的に分析するために使用される。
さらに、上界の一部の非収束結果が実際に実であることを証明した多くの負の結果を示す。
関連論文リスト
- Entropic Mirror Descent for Linear Systems: Polyak's Stepsize and Implicit Bias [55.72269695392027]
本稿では,線形系を解くためにエントロピックミラー降下を適用することに焦点を当てる。
収束解析の主な課題は、領域の非有界性に起因する。
制限的な仮定を課さずにこれを克服するために、Polyak型階段の変種を導入する。
論文 参考訳（メタデータ） (2025-05-05T12:33:18Z) - A Generalized Version of Chung's Lemma and its Applications [10.570672679063394]
我々はChung's lemmaの一般化バージョンを開発し、より一般的なステップサイズルールの族に対する単純な非漸近収束フレームワークを提供する。
解析の副産物として、指数的なステップサイズが目的関数の幾何学に適応し、基礎となる景観の正確な知識を必要とせずに最適な収束率を達成することができることを観察する。
論文 参考訳（メタデータ） (2024-06-09T04:25:10Z) - A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。
本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
論文 参考訳（メタデータ） (2024-05-24T21:09:19Z) - Variance reduction techniques for stochastic proximal point algorithms [5.374800961359305]
そこで本研究では,近点アルゴリズムにおける分散低減手法の統一化研究を提案する。
我々は,SVRG,SAGA,およびそれらの変種の近位バージョンを提供するために特定可能な,汎用的近位アルゴリズムを提案する。
本実験は, 勾配法よりも近似分散還元法の利点を実証する。
論文 参考訳（メタデータ） (2023-08-18T05:11:50Z) - Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。
また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
論文 参考訳（メタデータ） (2023-04-27T06:27:37Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳（メタデータ） (2023-02-02T10:37:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。