論文の概要: Amos: An Adam-style Optimizer with Adaptive Weight Decay towards
Model-Oriented Scale
- arxiv url: http://arxiv.org/abs/2210.11693v1
- Date: Fri, 21 Oct 2022 02:37:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-24 15:38:27.455951
- Title: Amos: An Adam-style Optimizer with Adaptive Weight Decay towards
Model-Oriented Scale
- Title(参考訳): Amos: モデル指向スケールへの適応的な重み付けによるアダムスタイルの最適化
- Authors: Ran Tian, Ankur P. Parikh
- Abstract要約: Amosは、ディープニューラルネットワークをトレーニングするための勾配ベースのシステムである。
理論的に支持され、適応的な学習速度の減衰と重みの崩壊を持つアダムと見なすことができる。
- 参考スコア(独自算出の注目度): 16.97880876259831
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Amos, a stochastic gradient-based optimizer designed for training
deep neural networks. It can be viewed as an Adam optimizer with theoretically
supported, adaptive learning-rate decay and weight decay. A key insight behind
Amos is that it leverages model-specific information to determine the initial
learning-rate and decaying schedules. When used for pre-training BERT variants
and T5, Amos consistently converges faster than the state-of-the-art settings
of AdamW, achieving better validation loss within <=70% training steps and
time, while requiring <=51% memory for slot variables. Our code is open-sourced
at: https://github.com/google-research/jestimator
- Abstract(参考訳): Amosは、ディープニューラルネットワークのトレーニング用に設計された確率的勾配に基づくオプティマイザである。
理論的に支持され、適応的な学習速度減衰と重量減衰を持つadamオプティマイザと見なすことができる。
amosの背景にある重要な洞察は、モデル固有の情報を活用して初期学習率と崩壊スケジュールを決定することだ。
BERTとT5の事前トレーニングに使用する場合、AmosはAdamWの最先端設定よりも一貫して収束し、<=70%のトレーニングステップと時間内でのバリデーション損失を改善すると同時に、スロット変数に対して<=51%のメモリを必要とする。
私たちのコードは、https://github.com/google-research/jestimatorでオープンソースです。
関連論文リスト
- A Dynamical Model of Neural Scaling Laws [86.9540615081759]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳(メタデータ) (2024-02-02T01:41:38Z) - Weight Prediction Boosts the Convergence of AdamW [3.7485728774744556]
我々は、ディープニューラルネットワーク(DNN)モデルをトレーニングする際の収束を高めるために、AdamWに重み予測を導入する。
特に、各ミニバッチトレーニングの前に、AdamWの更新ルールに従って将来の重量を予測し、予測された将来の重量を適用します。
論文 参考訳(メタデータ) (2023-02-01T02:58:29Z) - Read the Signs: Towards Invariance to Gradient Descent's Hyperparameter
Initialization [3.1153758106426603]
学習速度を$alpha$でローカライズする最適化メタアルゴリズムであるActiveLRを提案し,各エポックの勾配が符号を変更するか否かに応じて各エポックに適応する。
我々は、広く使われ、最近公開された勾配勾配勾配、すなわち運動量を持つSGD、AdamW、RAdam、AdaBeliefのアクティブバージョン(我々のもの)を実装している。
論文 参考訳(メタデータ) (2023-01-24T16:57:00Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳(メタデータ) (2022-11-30T04:23:12Z) - Self-Supervised Pre-Training for Transformer-Based Person
Re-Identification [54.55281692768765]
トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する
ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。
この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
論文 参考訳(メタデータ) (2021-11-23T18:59:08Z) - Unrolling SGD: Understanding Factors Influencing Machine Unlearning [17.6607904333012]
機械学習は、デプロイされた機械学習モデルがトレーニングデータポイントの1つを忘れるプロセスである。
まず、近似アンラーニングのアプローチとメトリクスを分類する。
検証誤差(L2差)、すなわち、ほとんど学習されていないモデルの重みと鼻再訓練されたモデルのL2差を同定する。
論文 参考訳(メタデータ) (2021-09-27T23:46:59Z) - Tom: Leveraging trend of the observed gradients for faster convergence [0.0]
TomはAdamの新しい変種であり、ニューラルネットワークによって渡される損失の風景の勾配の傾向を考慮に入れている。
Tomは両方の精度でAdagrad、Adadelta、RMSProp、Adamを上回り、より早く収束する。
論文 参考訳(メタデータ) (2021-09-07T20:19:40Z) - How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。
我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
論文 参考訳(メタデータ) (2021-06-21T17:59:51Z) - MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption [69.76837484008033]
ディープラーニングの未解決の問題は、ニューラルネットワークがテスト時間中のドメインシフトに対処する能力である。
メタラーニング、自己監督、テストタイムトレーニングを組み合わせて、目に見えないテスト分布に適応する方法を学びます。
この手法はcifar-10による画像分類ベンチマークの最先端結果を大幅に改善する。
論文 参考訳(メタデータ) (2021-03-30T09:33:38Z) - AdamP: Slowing Down the Slowdown for Momentum Optimizers on
Scale-invariant Weights [53.8489656709356]
正規化技術は現代の深層学習の恩恵である。
しかし、運動量を導入することで、スケール不変の重みに対する効果的なステップサイズが急速に小さくなることがしばしば見過ごされる。
本稿では,この2つの材料の組み合わせが,有効ステップサイズと準最適モデル性能の早期劣化につながることを検証した。
論文 参考訳(メタデータ) (2020-06-15T08:35:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。