論文の概要: AEGD: Adaptive Gradient Descent with Energy

• arxiv url: http://arxiv.org/abs/2010.05109v2
• Date: Fri, 1 Oct 2021 14:40:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 23:03:06.260807
• Title: AEGD: Adaptive Gradient Descent with Energy
• Title（参考訳）: aegd:エネルギーによる適応勾配降下
• Authors: Hailiang Liu and Xuping Tian
• Abstract要約: 本研究では, 1次勾配非エネルギー目的関数変数に対する新しいアルゴリズムである AEGD を提案する。 非エネルギー収束と所望の小さなステップサイズの両方に対してエネルギー依存型AEGDを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose AEGD, a new algorithm for first-order gradient-based optimization of non-convex objective functions, based on a dynamically updated energy variable. The method is shown to be unconditionally energy stable, irrespective of the step size. We prove energy-dependent convergence rates of AEGD for both non-convex and convex objectives, which for a suitably small step size recovers desired convergence rates for the batch gradient descent. We also provide an energy-dependent bound on the stationary convergence of AEGD in the stochastic non-convex setting. The method is straightforward to implement and requires little tuning of hyper-parameters. Experimental results demonstrate that AEGD works well for a large variety of optimization problems: it is robust with respect to initial data, capable of making rapid initial progress. The stochastic AEGD shows comparable and often better generalization performance than SGD with momentum for deep neural networks.
• Abstract（参考訳）: 動的に更新されたエネルギー変数に基づく非凸目的関数の1次勾配に基づく最適化アルゴリズムであるAEGDを提案する。 この方法は、ステップサイズに関係なく、無条件にエネルギー安定であることが示されている。 AEGDの非凸と凸の両目標に対するエネルギー依存収束率を証明し, バッチ勾配降下に対する所望の収束率を適宜小さいステップサイズで回収する。 また、確率的非凸設定におけるAEGDの定常収束にエネルギー依存的境界を与える。 このメソッドは実装が簡単で、ハイパーパラメータのチューニングがほとんど必要ありません。 実験結果から,AEGDは初期データに対して頑健であり,初期処理を迅速に行うことができるという,様々な最適化問題に対して有効であることが示された。 確率的AIGDは、ディープニューラルネットワークの運動量を持つSGDと同等で、しばしばより良い一般化性能を示す。

関連論文リスト

• SGEM: stochastic gradient with energy and momentum [0.0]
  我々は、一般の非GEM最適化問題のクラスを解くために、S, Gradient with Energy Momentumを提案する。 SGEMはエネルギー依存収束率を導出するためにエネルギーと運動量の両方を包含する。 以上の結果より,SGEMはAEGDやニューラルトレーニングよりも早く収束することが示唆された。
  論文  参考訳（メタデータ） (2022-08-03T16:45:22Z)
• Formal guarantees for heuristic optimization algorithms used in machine learning [6.978625807687497]
  グラディエント・Descent(SGD)とその変種は、大規模最適化機械学習(ML)問題において支配的な手法となっている。 本稿では,いくつかの凸最適化手法の形式的保証と改良アルゴリズムの提案を行う。
  論文  参考訳（メタデータ） (2022-07-31T19:41:22Z)
• An Adaptive Gradient Method with Energy and Momentum [0.0]
  目的関数の勾配に基づく最適化のための新しいアルゴリズムを提案する。 この方法は実装が簡単で、計算効率が良く、大規模機械学習問題に適している。
  論文  参考訳（メタデータ） (2022-03-23T04:48:38Z)
• Active Learning for Transition State Calculation [3.399187058548169]
  遷移状態 (TS) の計算は、計算集約エネルギー関数にとって大きな課題である。 真の勾配の高価な計算量を減らすために,能動的学習フレームワークを提案する。 提案手法は, 原モデルの必要エネルギー数や力量評価を著しく削減することを示す。
  論文  参考訳（メタデータ） (2021-08-10T13:57:31Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。