Fugu-MT 論文翻訳(概要): Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization

論文の概要: Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization

arxiv url: http://arxiv.org/abs/2101.11075v1
Date: Tue, 26 Jan 2021 20:38:26 GMT
ステータス: 処理完了
システム内更新日: 2021-03-14 02:20:58.140352
Title: Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization
Title（参考訳）: 妥協のない適応性:確率最適化のためのモーメント化, 適応型, デュアルアダック・グラディエント法
Authors: Aaron Defazio and Samy Jelassi
Abstract要約: MADGRADは、複数の分野からのディープラーニング最適化問題において優れた性能を示す。これらのタスクのそれぞれに対して、MADGRADはテストセットのパフォーマンスにおいてSGDとADAMの両方にマッチする。
参考スコア（独自算出の注目度）: 21.473252641133413
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce MADGRAD, a novel optimization method in the family of AdaGrad adaptive gradient methods. MADGRAD shows excellent performance on deep learning optimization problems from multiple fields, including classification and image-to-image tasks in vision, and recurrent and bidirectionally-masked models in natural language processing. For each of these tasks, MADGRAD matches or outperforms both SGD and ADAM in test set performance, even on problems for which adaptive methods normally perform poorly.
Abstract（参考訳）: AdaGrad適応勾配法のファミリーにおける新しい最適化手法であるMADGRADを紹介します。 MADGRADは、視覚における分類と画像から画像へのタスク、自然言語処理における繰り返しおよび双方向マッピングモデルなど、複数の分野のディープラーニング最適化問題に対して優れたパフォーマンスを示します。これらのタスクのそれぞれにおいて、MADGRADはテストセットのパフォーマンスにおいてSGDとADAMの両方にマッチするか、上回ります。