Fugu-MT 論文翻訳(概要): Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization

論文の概要: Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization

arxiv url: http://arxiv.org/abs/2101.11075v1
Date: Tue, 26 Jan 2021 20:38:26 GMT
ステータス: 処理完了
システム内更新日: 2021-03-14 02:20:58.140352
Title: Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization
Title（参考訳）: 妥協のない適応性:確率最適化のためのモーメント化, 適応型, デュアルアダック・グラディエント法
Authors: Aaron Defazio and Samy Jelassi
Abstract要約: MADGRADは、複数の分野からのディープラーニング最適化問題において優れた性能を示す。これらのタスクのそれぞれに対して、MADGRADはテストセットのパフォーマンスにおいてSGDとADAMの両方にマッチする。
参考スコア（独自算出の注目度）: 21.473252641133413
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce MADGRAD, a novel optimization method in the family of AdaGrad adaptive gradient methods. MADGRAD shows excellent performance on deep learning optimization problems from multiple fields, including classification and image-to-image tasks in vision, and recurrent and bidirectionally-masked models in natural language processing. For each of these tasks, MADGRAD matches or outperforms both SGD and ADAM in test set performance, even on problems for which adaptive methods normally perform poorly.
Abstract（参考訳）: AdaGrad適応勾配法のファミリーにおける新しい最適化手法であるMADGRADを紹介します。 MADGRADは、視覚における分類と画像から画像へのタスク、自然言語処理における繰り返しおよび双方向マッピングモデルなど、複数の分野のディープラーニング最適化問題に対して優れたパフォーマンスを示します。これらのタスクのそれぞれにおいて、MADGRADはテストセットのパフォーマンスにおいてSGDとADAMの両方にマッチするか、上回ります。

関連論文リスト

Adaptive Gradient Methods with Local Guarantees [48.980206926987606]
本稿では,最良局所前提条件に対する適応的後悔保証を証明可能な適応的勾配法を提案する。視覚領域や言語領域で人気のあるベンチマークタスクに対して,最適な学習率スケジュールを自動的に選択する上で,本手法の堅牢性を示す。
論文参考訳（メタデータ） (2022-03-02T20:45:14Z)
Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning [8.591356221688773]
微分品質多様性(DQD)アルゴリズムは、目標と測度に対して正確な勾配が利用できる場合、QD最適化を大幅に加速する。我々はDQDアルゴリズムCMA-MEGAの2つの変種を開発し、それぞれ異なる勾配近似を持ち、それらを4つのシミュレーション歩行タスクで評価する。 1つの変種は、最先端のPGA-MAP-Elitesを2つのタスクで同等の性能(QDスコア)を達成する。もう1つの変種は、全てのタスクで比較可能だが、2つのタスクでPGA-MAP-Elitesよりも効率が低い。
論文参考訳（メタデータ） (2022-02-08T05:53:55Z)
SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
論文参考訳（メタデータ） (2021-06-15T15:16:28Z)
An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T02:27:55Z)
Adapting by Pruning: A Case Study on BERT [9.963251767416967]
対象タスクの性能を最適化するために,事前学習したモデルの神経接続をpruneするプラニングにより適応する新しいモデル適応パラダイムを提案する。本稿では, 最適化問題として適応分割法を定式化し, モデル作成のための効率的なアルゴリズムを提案する。以上の結果から,提案手法は細調整フルモデルと同等の性能を示しながら,BERTの最大50%の重み付けが可能であることが示唆された。
論文参考訳（メタデータ） (2021-05-07T15:51:08Z)
Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文参考訳（メタデータ） (2021-04-12T13:13:34Z)
MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation [84.90801699807426]
本稿ではMetaAlignと呼ばれるメタ最適化に基づく効果的な戦略を提案する。ドメインアライメントの目的と分類の目的をメタ学習計画におけるメタトレーニングとメタテストのタスクとして扱う。実験結果は,アライメントに基づくベースラインアプローチを用いた提案手法の有効性を実証した。
論文参考訳（メタデータ） (2021-03-25T03:16:05Z)
Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文参考訳（メタデータ） (2021-02-07T20:53:23Z)
Adam revisited: a weighted past gradients perspective [57.54752290924522]
本稿では,非収束問題に取り組むための適応法重み付け適応アルゴリズム(wada)を提案する。私たちは、WADAが重み付きデータ依存の後悔境界を達成できることを証明します。
論文参考訳（メタデータ） (2021-01-01T14:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。