Fugu-MT 論文翻訳(概要): Safeguarding adaptive methods: global convergence of Barzilai-Borwein and other stepsize choices

論文の概要: Safeguarding adaptive methods: global convergence of Barzilai-Borwein and other stepsize choices

arxiv url: http://arxiv.org/abs/2404.09617v2
Date: Mon, 13 May 2024 06:01:27 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 23:34:50.636988
Title: Safeguarding adaptive methods: global convergence of Barzilai-Borwein and other stepsize choices
Title（参考訳）: 適応的手法の保護:バルジライ=ボルヴァインの大域収束とその他の段階的選択
Authors: Hongjia Ou, Andreas Themelis,
Abstract要約: 本稿では,凸最小化問題に対する線形探索自由近位勾配フレームワークを提案する。微分可能関数の勾配が単に局所的に H より古い連続であるような問題に対処することができる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Leveraging on recent advancements on adaptive methods for convex minimization problems, this paper provides a linesearch-free proximal gradient framework for globalizing the convergence of popular stepsize choices such as Barzilai-Borwein and one-dimensional Anderson acceleration. This framework can cope with problems in which the gradient of the differentiable function is merely locally H\"older continuous. Our analysis not only encompasses but also refines existing results upon which it builds. The theory is corroborated by numerical evidence that showcases the synergetic interplay between fast stepsize selections and adaptive methods.
Abstract（参考訳）: 本稿では, 凸最小化問題に対する適応手法の最近の進歩を生かして, バルジライ=ボルワインやアンダーソン加速度などの一般的なステップサイズ選択の収束をグローバル化する, 線形探索不要な近位勾配フレームワークを提供する。この枠組みは、微分可能関数の勾配が単に局所的に H より古い連続であるような問題に対処することができる。私たちの分析は、その分析を包含するだけでなく、構築した既存の結果を洗練します。この理論は、高速なステップサイズ選択と適応的な方法の間の相乗的相互作用を示す数値的な証拠によって裏付けられている。

関連論文リスト

Fast Unconstrained Optimization via Hessian Averaging and Adaptive Gradient Sampling Methods [0.3222802562733786]
ヘシアン・アブラッシングに基づくサブサンプルニュートン法による有限サム予測対象関数の最小化について検討する。これらの方法は不有効であり、ヘッセン近似の固定コストがかかる。本稿では,新しい解析手法を提案し,その実用化に向けた課題を提案する。
論文参考訳（メタデータ） (2024-08-14T03:27:48Z)
A Methodology Establishing Linear Convergence of Adaptive Gradient Methods under PL Inequality [5.35599092568615]
AdaGrad と Adam は、コスト関数が滑らかで、Polyak-Lojasiewicz の不等式を満たすときに線型収束することを示す。我々のフレームワークは、他の変種Adamの線形収束解析に利用できる可能性がある。
論文参考訳（メタデータ） (2024-07-17T14:56:21Z)
On the convergence of adaptive first order methods: proximal gradient and alternating minimization algorithms [4.307128674848627]
AdaPG$q,r$は、より大きな段階的なポリシーと改善された下位境界を提供することで、既存の結果を統一し、拡張するフレームワークである。パラメータの$q$と$r$の異なる選択について論じ、数値シミュレーションにより結果の有効性を実証する。
論文参考訳（メタデータ） (2023-11-30T10:29:43Z)
Universal Online Learning with Gradient Variations: A Multi-layer Online Ensemble Approach [57.92727189589498]
本稿では,2段階の適応性を持つオンライン凸最適化手法を提案する。我々は$mathcalO(log V_T)$, $mathcalO(d log V_T)$, $hatmathcalO(sqrtV_T)$ regret bounds for strong convex, exp-concave and convex loss function。
論文参考訳（メタデータ） (2023-07-17T09:55:35Z)
An Adaptive Incremental Gradient Method With Support for Non-Euclidean Norms [19.41328109094503]
そこで本研究では,SAGAアルゴリズムの適応型を新たにいくつか提案し,解析する。一般的な設定の下で収束保証を確立する。我々は、非ユークリッドノルムをサポートするためにSAGAの分析を改善した。
論文参考訳（メタデータ） (2022-04-28T09:43:07Z)
Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文参考訳（メタデータ） (2021-10-20T02:25:25Z)
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文参考訳（メタデータ） (2021-06-15T15:16:28Z)
Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文参考訳（メタデータ） (2020-07-07T21:26:35Z)
Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文参考訳（メタデータ） (2020-06-16T13:41:54Z)
Adaptive Gradient Methods Converge Faster with Over-Parameterization (but you should do a line-search) [32.24244211281863]
データを補間するのに十分なパラメータ化モデルを用いて、スムーズで凸的な損失を簡易に設定する。一定のステップサイズと運動量を持つ AMSGrad がより高速な$O(1/T)$レートで最小値に収束することを証明する。これらの手法により,タスク間の適応勾配法の収束と一般化が向上することを示す。
論文参考訳（メタデータ） (2020-06-11T21:23:30Z)
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。