Fugu-MT 論文翻訳(概要): XGrad: Boosting Gradient-Based Optimizers With Weight Prediction

論文の概要: XGrad: Boosting Gradient-Based Optimizers With Weight Prediction

arxiv url: http://arxiv.org/abs/2305.18240v2
Date: Sun, 7 Apr 2024 16:07:53 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 05:17:18.054807
Title: XGrad: Boosting Gradient-Based Optimizers With Weight Prediction
Title（参考訳）: XGrad: 軽量予測でグラディエントベースの最適化を強化
Authors: Lei Guan, Dongsheng Li, Yanqi Shi, Jian Meng,
Abstract要約: 本稿では,総合的なディープラーニング学習フレームワークXGradを提案する。 XGradは、一般的な勾配に基づくDNNに重み予測を導入し、収束と一般化を促進する。実験により,XGradはモデルトレーニング時のベースラインよりも高いモデル精度が得られることを確認した。
参考スコア（独自算出の注目度）: 20.068681423455057
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we propose a general deep learning training framework XGrad which introduces weight prediction into the popular gradient-based optimizers to boost their convergence and generalization when training the deep neural network (DNN) models. In particular, ahead of each mini-batch training, the future weights are predicted according to the update rule of the used optimizer and are then applied to both the forward pass and backward propagation. In this way, during the whole training period, the optimizer always utilizes the gradients w.r.t. the future weights to update the DNN parameters, making the gradient-based optimizer achieve better convergence and generalization compared to the original optimizer without weight prediction. XGrad is rather straightforward to implement yet pretty effective in boosting the convergence of gradient-based optimizers and the accuracy of DNN models. Empirical results concerning five popular optimizers including SGD with momentum, Adam, AdamW, AdaBelief, and AdaM3 demonstrate the effectiveness of our proposal. The experimental results validate that XGrad can attain higher model accuracy than the baseline optimizers when training the DNN models. The code of XGrad will be available at: https://github.com/guanleics/XGrad.
Abstract（参考訳）: 本稿では,ディープラーニング学習フレームワークXGradを提案する。このフレームワークは,ニューラルネットワーク(DNN)モデルをトレーニングする際の収束と一般化を促進するために,一般的な勾配に基づくオプティマイザに重み予測を導入している。特に、各ミニバッチトレーニングの前に、使用したオプティマイザの更新ルールに従って将来の重みを予測し、前方通過と後方伝播の両方に適用する。このように、トレーニング期間全体において、最適化者は、常に将来の重み付けをDNNパラメータの更新に利用し、グラデーションベースの最適化器は、ウェイト予測のない元の最適化器と比較して、より収束と一般化を達成する。 XGradは比較的単純で、勾配に基づくオプティマイザの収束とDNNモデルの精度を高めるのに非常に効果的である。モーメントを持つSGD,Adam,AdamW,AdaBelief,AdaM3の5つの人気オプティマイザに関する実証的な結果から,提案手法の有効性が示された。実験により,DNNモデルのトレーニングにおいて,XGradがベースラインオプティマイザよりも高いモデル精度が得られることを確認した。 XGradのコードは、https://github.com/guanleics/XGrad.comで入手できる。

関連論文リスト

MARS: Unleashing the Power of Variance Reduction for Training Large Models [56.47014540413659]
Adam、Adam、およびそれらの変種のような大規模な勾配アルゴリズムは、この種のトレーニングの開発の中心となっている。本稿では,事前条件付き勾配最適化手法と,スケールドモーメント手法による分散低減を両立させる枠組みを提案する。
論文参考訳（メタデータ） (2024-11-15T18:57:39Z)
AdaFisher: Adaptive Second Order Optimization via Fisher Information [22.851200800265914]
本稿では,適応型プレコンディショニング勾配のためのフィッシャー情報行列に対して,ブロック対角近似を利用する適応型2次のAdaFisherを提案する。 AdaFisher は精度と収束速度の両方において SOTA よりも優れていることを示す。
論文参考訳（メタデータ） (2024-05-26T01:25:02Z)
Weight Prediction Boosts the Convergence of AdamW [3.7485728774744556]
我々は、ディープニューラルネットワーク(DNN)モデルをトレーニングする際の収束を高めるために、AdamWに重み予測を導入する。特に、各ミニバッチトレーニングの前に、AdamWの更新ルールに従って将来の重量を予測し、予測された将来の重量を適用します。
論文参考訳（メタデータ） (2023-02-01T02:58:29Z)
Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。 EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文参考訳（メタデータ） (2022-11-30T04:23:12Z)
VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文参考訳（メタデータ） (2022-11-17T18:39:07Z)
AdaNorm: Adaptive Gradient Norm Correction based Optimizer for CNNs [23.523389372182613]
勾配降下(SGD)は一般に畳み込みニューラルネットワーク(CNN)の訓練に使用される既存のSGDは過去の反復の勾配基準を活用せず、収束と性能の低下につながる。本稿では,AdaNormをベースとした新しいSGDを提案する。
論文参考訳（メタデータ） (2022-10-12T16:17:25Z)
DEBOSH: Deep Bayesian Shape Optimization [48.80431740983095]
形状最適化に適した不確実性に基づく新しい手法を提案する。効果的なBOを可能にし、その結果の形状の質を最先端のアプローチを超えて向上させる。
論文参考訳（メタデータ） (2021-09-28T11:01:42Z)
Tom: Leveraging trend of the observed gradients for faster convergence [0.0]
TomはAdamの新しい変種であり、ニューラルネットワークによって渡される損失の風景の勾配の傾向を考慮に入れている。 Tomは両方の精度でAdagrad、Adadelta、RMSProp、Adamを上回り、より早く収束する。
論文参考訳（メタデータ） (2021-09-07T20:19:40Z)
How Do Adam and Training Strategies Help BNNs Optimization? [50.22482900678071]
我々は、AdamがBNNの粗い損失面を扱うのに適しており、より高い一般化能力でより良い最適値に達することを示す。我々は、既存のAdamベースの最適化に基づいて、ImageNetデータセット上で70.5%のトップ1の精度を達成する簡単なトレーニングスキームを導出する。
論文参考訳（メタデータ） (2021-06-21T17:59:51Z)
A Bop and Beyond: A Second Order Optimizer for Binarized Neural Networks [0.0]
Binary Neural Networks (BNNs) の最適化は、実数値の重みをバイナライズ表現で近似することに依存している。本稿では,第2の生モーメント推定を用いて第1の生モーメントを正規化し,しきい値との比較を行うアダム法と並行する手法を提案する。提案した2つのバージョン – バイアス付きバージョンとバイアス修正バージョン – をそれぞれ独自のアプリケーションで提示する。
論文参考訳（メタデータ） (2021-04-11T22:20:09Z)
Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文参考訳（メタデータ） (2020-02-04T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。