論文の概要: An Adaptive Gradient Method with Energy and Momentum
- arxiv url: http://arxiv.org/abs/2203.12191v1
- Date: Wed, 23 Mar 2022 04:48:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 06:30:38.592411
- Title: An Adaptive Gradient Method with Energy and Momentum
- Title（参考訳）: エネルギーとモーメントを用いた適応勾配法
- Authors: Hailiang Liu and Xuping Tian
- Abstract要約: 目的関数の勾配に基づく最適化のための新しいアルゴリズムを提案する。
この方法は実装が簡単で、計算効率が良く、大規模機械学習問題に適している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a novel algorithm for gradient-based optimization of stochastic
objective functions. The method may be seen as a variant of SGD with momentum
equipped with an adaptive learning rate automatically adjusted by an 'energy'
variable. The method is simple to implement, computationally efficient, and
well suited for large-scale machine learning problems. The method exhibits
unconditional energy stability for any size of the base learning rate. We
provide a regret bound on the convergence rate under the online convex
optimization framework. We also establish the energy-dependent convergence rate
of the algorithm to a stationary point in the stochastic non-convex setting. In
addition, a sufficient condition is provided to guarantee a positive lower
threshold for the energy variable. Our experiments demonstrate that the
algorithm converges fast while generalizing better than or as well as SGD with
momentum in training deep neural networks, and compares also favorably to Adam.
- Abstract（参考訳）: 確率的目的関数の勾配に基づく最適化のための新しいアルゴリズムを提案する。
この方法は「エネルギー」変数で自動的に調整される適応学習率を備えた運動量を持つSGDの変種と見なすことができる。
この方法は実装が簡単で、計算効率が良く、大規模機械学習問題に適している。
この方法は、ベース学習率の任意のサイズの無条件エネルギー安定性を示す。
オンライン凸最適化フレームワークにおける収束率に縛られた残念な点を挙げる。
また、確率的非凸設定における定常点へのアルゴリズムのエネルギー依存収束率を確立する。
さらに、エネルギー変数に対する正の低い閾値を保証するのに十分な条件が提供される。
我々の実験では、アルゴリズムは深層ニューラルネットワークのトレーニングにおける運動量とSGDよりも良く一般化しながら高速に収束し、Adamと好意的に比較した。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳（メタデータ） (2024-03-11T09:10:37Z) - An Element-wise RSAV Algorithm for Unconstrained Optimization Problems [13.975774245256561]
本稿では,新しい最適化アルゴリズムである要素緩和スカラー補助変数(E-RSAV)を提案する。
このアルゴリズムは凸設定における線形収束の厳密な証明を特徴とする。
また,ステッフェンセンステップサイズを持つ適応型E-RSAVを提案する。
論文 参考訳（メタデータ） (2023-09-07T20:37:23Z) - On the Convergence of Stochastic Extragradient for Bilinear Games with
Restarted Iteration Averaging [96.13485146617322]
本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。
平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
論文 参考訳（メタデータ） (2021-06-30T17:51:36Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods [7.486132958737807]
適応性に対する暗黙的アプローチによる適応分散低減手法を提案する。
有限サム最小化問題に対する収束保証を提供し,局所幾何が許せばサラよりも高速に収束できることを示す。
このアルゴリズムはステップサイズを暗黙的に計算し、関数の局所リプシッツ滑らかさを効率的に推定する。
論文 参考訳（メタデータ） (2021-02-19T01:17:15Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - AEGD: Adaptive Gradient Descent with Energy [0.0]
本研究では, 1次勾配非エネルギー目的関数変数に対する新しいアルゴリズムである AEGD を提案する。
非エネルギー収束と所望の小さなステップサイズの両方に対してエネルギー依存型AEGDを示す。
論文 参考訳（メタデータ） (2020-10-10T22:17:27Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Towards Better Understanding of Adaptive Gradient Algorithms in
Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。
本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。
実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文 参考訳（メタデータ） (2019-12-26T22:10:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。