Fugu-MT 論文翻訳(概要): AdaFamily: A family of Adam-like adaptive gradient methods

論文の概要: AdaFamily: A family of Adam-like adaptive gradient methods

arxiv url: http://arxiv.org/abs/2203.01603v1
Date: Thu, 3 Mar 2022 09:57:50 GMT
ステータス: 処理完了
システム内更新日: 2022-03-05 04:52:36.405335
Title: AdaFamily: A family of Adam-like adaptive gradient methods
Title（参考訳）: AdaFamily:Adamライクな適応勾配法の一家系
Authors: Hannes Fassold
Abstract要約: 本稿では,深層ニューラルネットワークを学習するための新しい手法であるAdaFamilyを提案する。適応勾配法の一種であり、最適化アルゴリズムAdam、AdaBelief、AdaMomentumのブレンドの一種と解釈できる。
参考スコア（独自算出の注目度）: 2.28438857884398
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose AdaFamily, a novel method for training deep neural networks. It is a family of adaptive gradient methods and can be interpreted as sort of a blend of the optimization algorithms Adam, AdaBelief and AdaMomentum. We perform experiments on standard datasets for image classification, demonstrating that our proposed method outperforms these algorithms.
Abstract（参考訳）: 本稿では,深層ニューラルネットワークの新たな学習法であるadafamilyを提案する。適応勾配法の一種であり、adam、adabelief、adamomentumといった最適化アルゴリズムをブレンドしたものと解釈することができる。画像分類のための標準データセットの実験を行い、提案手法がこれらのアルゴリズムより優れていることを示す。

関連論文リスト

Interpreting Adaptive Gradient Methods by Parameter Scaling for Learning-Rate-Free Optimization [14.009179786857802]
深層ニューラルネットワークの学習に使用される適応的勾配法について,学習率を推定する上での課題に対処する。学習速度のないいくつかのアプローチが提案されているが、それらは典型的には最も急降下に適したものである。本稿では,適応勾配法をパラメータスケールネットワークに適用した最も急勾配と解釈する。
論文参考訳（メタデータ） (2024-01-06T15:45:29Z)
Adam-family Methods for Nonsmooth Optimization with Convergence Guarantees [5.69991777684143]
本稿では,2段階の更新方式を採用した新しい2段階のフレームワークを提案し,その収束特性を軽度な仮定で証明する。提案するフレームワークは,様々なAdamファミリー方式を包含し,非平滑ニューラルネットワークのトレーニングにおいて,これらの手法の収束保証を提供する。我々は,重み付き雑音を伴う非平滑ニューラルネットワークのトレーニングにクリッピング手法を取り入れた段階的手法を開発した。
論文参考訳（メタデータ） (2023-05-06T05:35:56Z)
BFE and AdaBFE: A New Approach in Learning Rate Automation for Stochastic Optimization [3.541406632811038]
学習速度を自動的に調整する勾配に基づく最適化手法を提案する。このアプローチは、勾配降下(SGD)アルゴリズムに基づく学習率を最適化する代替手法である可能性がある。
論文参考訳（メタデータ） (2022-07-06T15:55:53Z)
A Control Theoretic Framework for Adaptive Gradient Optimizers in Machine Learning [0.6526824510982802]
適応勾配法はディープニューラルネットワークの最適化に人気がある。最近の例にはAdaGradとAdamがある。我々は適応的勾配法のための汎用的なフレームワークを開発する。
論文参考訳（メタデータ） (2022-06-04T17:55:33Z)
Adaptive Differentially Private Empirical Risk Minimization [95.04948014513226]
本稿では,適応的(確率的)勾配摂動法を提案する。 ADP法は,バニラランダムノイズを付加した標準微分プライベート法と比較して,実用性保証を大幅に改善することを示す。
論文参考訳（メタデータ） (2021-10-14T15:02:20Z)
Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
論文参考訳（メタデータ） (2021-03-26T18:55:08Z)
MaxVA: Fast Adaptation of Step Sizes by Maximizing Observed Variance of Gradients [112.00379151834242]
本稿では,Adamにおける2乗勾配のランニング平均を重み付き平均に置き換える適応学習率の原理を提案する。これにより、より高速な適応が可能となり、より望ましい経験的収束挙動がもたらされる。
論文参考訳（メタデータ） (2020-06-21T21:47:43Z)
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning [0.0]
本稿では,Adamを非線形共役勾配法と混合した共役勾配に基づくAdamアルゴリズムを提案する。テキスト分類と画像分類に関する数値実験により、提案アルゴリズムは既存の適応最適化アルゴリズムよりも少ないエポックでディープニューラルネットワーク収束を訓練できることが示されている。
論文参考訳（メタデータ） (2020-02-29T10:34:30Z)
Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。適応勾配法の一般化に関する経験的および理論的考察を示す。
論文参考訳（メタデータ） (2020-02-26T21:42:49Z)
Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
論文参考訳（メタデータ） (2019-12-26T22:10:10Z)
On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
我々は、勾配収束法を期待する適応勾配法を証明した。解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
論文参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。