論文の概要: Adaptive Proximal Gradient Method for Convex Optimization

• arxiv url: http://arxiv.org/abs/2308.02261v2
• Date: Mon, 12 Feb 2024 16:05:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 22:40:22.547222
• Title: Adaptive Proximal Gradient Method for Convex Optimization
• Title（参考訳）: 凸最適化のための適応近位勾配法
• Authors: Yura Malitsky, Konstantin Mishchenko
• Abstract要約: 凸最適化における2つの基本的な一階法、すなわち勾配降下法(GD)と近位勾配法(ProxGD)について検討する。 我々の焦点は、スムーズな関数の局所曲率情報を活用することによって、これらのアルゴリズムを完全に適応させることである。 本稿では,GD と ProxGD の適応バージョンを提案する。
• 参考スコア（独自算出の注目度）: 18.681222155879656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we explore two fundamental first-order algorithms in convex optimization, namely, gradient descent (GD) and proximal gradient method (ProxGD). Our focus is on making these algorithms entirely adaptive by leveraging local curvature information of smooth functions. We propose adaptive versions of GD and ProxGD that are based on observed gradient differences and, thus, have no added computational costs. Moreover, we prove convergence of our methods assuming only local Lipschitzness of the gradient. In addition, the proposed versions allow for even larger stepsizes than those initially suggested in [MM20].
• Abstract（参考訳）: 本稿では,凸最適化における2つの基本1次アルゴリズム,すなわち勾配降下法(gd)と近位勾配法(proxgd)について検討する。 我々は,滑らかな関数の局所的曲率情報を活用することで,これらのアルゴリズムを完全に適応させることに重点を置いている。 本稿では,GD と ProxGD の適応バージョンを提案する。 さらに、勾配の局所リプシッツ性のみを仮定する手法の収束性を証明する。 さらに、提案されたバージョンは、[MM20]で最初に提案されたものよりもさらに大きなステップサイズを可能にする。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Adaptive proximal algorithms for convex optimization under local Lipschitz continuity of the gradient [4.478941279527423]
  バックトラックライン探索は、局所リプシッツ勾配を持つ連続微分可能関数を最小化するデファクトアプローチである。 近年、凸配置では線探索を完全に避けることが可能であることが示されている。 局所滑らか度係数の新しい推定値を用いた適応的近位勾配法 adaPG を提案する。
  論文  参考訳（メタデータ） (2023-01-11T12:19:28Z)
• Local Quadratic Convergence of Stochastic Gradient Descent with Adaptive Step Size [29.15132344744801]
  本研究では,行列逆変換などの問題に対して,適応的なステップサイズを持つ勾配勾配の局所収束性を確立する。 これらの一階最適化法は線形あるいは線形収束を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-12-30T00:50:30Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Projection-Free Adaptive Gradients for Large-Scale Optimization [22.0439695290991]
  フランク=ウルフアルゴリズムは、目的から近似した一階情報のみをクエリすることで、両方の計算負担を軽減するため、ユニークな位置を占める。 本手法は,制約付き最適化のための適応アルゴリズムの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-09-29T15:56:12Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。