論文の概要: Parameter-free version of Adaptive Gradient Methods for Strongly-Convex
Functions
- arxiv url: http://arxiv.org/abs/2306.06613v2
- Date: Sat, 15 Jul 2023 03:21:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 22:02:27.437035
- Title: Parameter-free version of Adaptive Gradient Methods for Strongly-Convex
Functions
- Title(参考訳): 強凸関数に対する適応勾配法のパラメータフリーバージョン
- Authors: Deepak Gouda, Hassan Naveed, Salil Kamath
- Abstract要約: 本稿では,Metagradの行に沿って普遍的なアルゴリズムを適用し,ラムダとetaへの依存を取り除く。
主なアイデアは、複数の専門家を同時に実行し、予測をマスタアルゴリズムと組み合わせることである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The optimal learning rate for adaptive gradient methods applied to
{\lambda}-strongly convex functions relies on the parameters {\lambda} and
learning rate {\eta}. In this paper, we adapt a universal algorithm along the
lines of Metagrad, to get rid of this dependence on {\lambda} and {\eta}. The
main idea is to concurrently run multiple experts and combine their predictions
to a master algorithm. This master enjoys O(d log T) regret bounds.
- Abstract(参考訳): 適応勾配法を強凸関数に適用する最適学習率はパラメータ {\lambda} と学習率 {\eta} に依存する。
本稿では,メタグレードの行に沿って普遍的なアルゴリズムを適用し,この依存性を解消する。
主なアイデアは、複数の専門家を同時に実行し、予測をマスタアルゴリズムと組み合わせることである。
このマスターは O(d log T) の後悔境界を楽しむ。
関連論文リスト
- ELRA: Exponential learning rate adaption gradient descent optimization
method [83.88591755871734]
我々は, 高速(指数率), ab initio(超自由)勾配に基づく適応法を提案する。
本手法の主な考え方は,状況認識による$alphaの適応である。
これは任意の次元 n の問題に適用でき、線型にしかスケールできない。
論文 参考訳(メタデータ) (2023-09-12T14:36:13Z) - Efficient Lipschitzian Global Optimization of H\"older Continuous
Multivariate Functions [0.0]
本研究では,H"より古い連続な多変量関数に対して,効率的な大域的最適化手法を提案する。
このアルゴリズムは,H"older $alpha$でH"older連続目標関数を与えられた時間的地平線内の$n$次元空間で最適化するために,平均的残差$O(T-fracalphan)$に達することを示す。
論文 参考訳(メタデータ) (2023-03-24T22:29:35Z) - Optimization using Parallel Gradient Evaluations on Multiple Parameters [51.64614793990665]
本稿では,複数のパラメータからの勾配を勾配降下の各ステップで利用することができる凸最適化の一階法を提案する。
本手法では,複数のパラメータからの勾配を用いて,これらのパラメータを最適方向に更新する。
論文 参考訳(メタデータ) (2023-02-06T23:39:13Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳(メタデータ) (2021-04-12T13:13:34Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Adaptive extra-gradient methods for min-max optimization and games [35.02879452114223]
本稿では,初期の反復で観測された勾配データの幾何を自動的に活用する,minmax最適化アルゴリズムの新たなファミリーを提案する。
この適応機構により,提案手法は問題がスムーズかどうかを自動的に検出する。
滑らかな問題における$mathcalO (1/varepsilon)$反復と、非滑らかな問題における$mathcalO (1/varepsilon)$反復に収束する。
論文 参考訳(メタデータ) (2020-10-22T22:54:54Z) - Adaptive Gradient Methods for Constrained Convex Optimization and
Variational Inequalities [32.51470158863247]
AdaACSAとAdaAGD+は制約付き凸最適化の高速化手法である。
我々はこれらを、同じ特徴を享受し、標準の非加速収束率を達成する、より単純なアルゴリズムAdaGrad+で補完する。
論文 参考訳(メタデータ) (2020-07-17T09:10:21Z) - Implicit differentiation of Lasso-type models for hyperparameter
optimization [82.73138686390514]
ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。
提案手法は,解の空間性を利用して高次元データにスケールする。
論文 参考訳(メタデータ) (2020-02-20T18:43:42Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳(メタデータ) (2019-12-26T22:10:10Z) - On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。
解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文 参考訳(メタデータ) (2018-08-16T20:25:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。