論文の概要: AsymptoticNG: A regularized natural gradient optimization algorithm with look-ahead strategy

• arxiv url: http://arxiv.org/abs/2012.13077v2
• Date: Sat, 16 Jan 2021 10:42:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 08:12:22.332421
• Title: AsymptoticNG: A regularized natural gradient optimization algorithm with look-ahead strategy
• Title（参考訳）: AsymptoticNG:ルックアヘッド戦略を用いた正規化自然勾配最適化アルゴリズム
• Authors: Zedong Tang, Fenlong Jiang, Junke Song, Maoguo Gong, Hao Li, Fan Yu, Zidong Wang, Min Wang
• Abstract要約: 自然勾配(ANG)とよばれるルックアヘッド戦略を持つ正規化自然勾配を示す。 ANGはNGとユークリッド勾配を動的にアセンブルし、NGの強度を使って新しい方向に沿ってパラメータを更新する。 検証実験により、ANGは2次速度でスムーズかつ安定に更新でき、より良い性能が得られることが示された。
• 参考スコア（独自算出の注目度）: 37.638447128733546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizers that further adjust the scale of gradient, such as Adam, Natural Gradient (NG), etc., despite widely concerned and used by the community, are often found poor generalization performance, compared with Stochastic Gradient Descent (SGD). They tend to converge excellently at the beginning of training but are weak at the end. An immediate idea is to complement the strengths of these algorithms with SGD. However, a truncated replacement of optimizer often leads to a crash of the update pattern, and new algorithms often require many iterations to stabilize their search direction. Driven by this idea and to address this problem, we design and present a regularized natural gradient optimization algorithm with look-ahead strategy, named asymptotic natural gradient (ANG). According to the total iteration step, ANG dynamic assembles NG and Euclidean gradient, and updates parameters along the new direction using the intensity of NG. Validation experiments on CIFAR10 and CIFAR100 data sets show that ANG can update smoothly and stably at the second-order speed, and achieve better generalization performance.
• Abstract（参考訳）: アダムや自然グラディエント(NG)などの勾配のスケールを調節する最適化は、SGD(Stochastic Gradient Descent)と比較して、広く関心があり、コミュニティが使用しているにもかかわらず、しばしば一般化性能が劣っている。 彼らは訓練の始めにうまく収束する傾向があるが、最後には弱くなる。 直近の考え方は、これらのアルゴリズムの強みをSGDで補完することである。 しかし、オプティマイザの切り換えは更新パターンのクラッシュにつながることが多く、新しいアルゴリズムは探索方向を安定させるために多くのイテレーションを必要とすることが多い。 このアイデアを駆使してこの問題に対処するため,漸近的自然勾配(ANG)と呼ばれるルックアヘッド戦略を用いた正規化自然勾配最適化アルゴリズムを設計・提示する。 全イテレーションステップに従って、ANGはNGとユークリッド勾配を動的にアセンブルし、NGの強度を使って新しい方向に沿ってパラメータを更新する。 CIFAR10とCIFAR100データセットの検証実験により、ANGは2次速度でスムーズかつ安定に更新でき、より優れた一般化性能が得られることが示された。

関連論文リスト

• Formal guarantees for heuristic optimization algorithms used in machine learning [6.978625807687497]
  グラディエント・Descent(SGD)とその変種は、大規模最適化機械学習(ML)問題において支配的な手法となっている。 本稿では,いくつかの凸最適化手法の形式的保証と改良アルゴリズムの提案を行う。
  論文  参考訳（メタデータ） (2022-07-31T19:41:22Z)
• Revisiting and Advancing Fast Adversarial Training Through The Lens of Bi-Level Optimization [60.72410937614299]
  提案手法は,2レベルAT(FAST-BAT)と呼ばれる新しいアルゴリズムセットの設計と解析である。 FAST-BATは、グラデーションサインメソッドや明示的なロバスト正規化を呼ぶことなく、符号ベースの投射降下(PGD)攻撃を防御することができる。
  論文  参考訳（メタデータ） (2021-12-23T06:25:36Z)
• An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm for First-order and Zeroth-order Optimization [111.24899593052851]
  条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。 ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。 1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2021-09-18T07:08:11Z)
• Adapting Stepsizes by Momentumized Gradients Improves Optimization and Generalization [89.66571637204012]
  textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。 textscAdaMomentum on vision, and achieves state-the-art results on other task including language processing。
  論文  参考訳（メタデータ） (2021-06-22T03:13:23Z)
• Adaptive Importance Sampling for Finite-Sum Optimization and Sampling with Decreasing Step-Sizes [4.355567556995855]
  ステップサイズを小さくした有限サム最適化とサンプリングのための適応的重要度サンプリングのための簡易かつ効率的なアルゴリズムであるavareを提案する。 標準的な技術的条件下では、$mathcalO(T2/3)$と$mathcalO(T5/6)$の動的後悔をそれぞれ、$mathcalO(T5/6)$のステップサイズで実行するときに達成している。
  論文  参考訳（メタデータ） (2021-03-23T00:28:15Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。