論文の概要: Inverse-Free Fast Natural Gradient Descent Method for Deep Learning

• arxiv url: http://arxiv.org/abs/2403.03473v2
• Date: Sun, 28 Apr 2024 10:52:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 23:16:19.326536
• Title: Inverse-Free Fast Natural Gradient Descent Method for Deep Learning
• Title（参考訳）: 深層学習のための逆フリーファストナチュラルグラディエントDescence法
• Authors: Xinwei Ou, Ce Zhu, Xiaolin Huang, Yipeng Liu,
• Abstract要約: 本稿では,第1期における逆転のみを必要とする高速な自然勾配降下法を提案する。 FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。
• 参考スコア（独自算出の注目度）: 52.0693420699086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Second-order optimization techniques have the potential to achieve faster convergence rates compared to first-order methods through the incorporation of second-order derivatives or statistics. However, their utilization in deep learning is limited due to their computational inefficiency. Various approaches have been proposed to address this issue, primarily centered on minimizing the size of the matrix to be inverted. Nevertheless, the necessity of performing the inverse operation iteratively persists. In this work, we present a fast natural gradient descent (FNGD) method that only requires inversion during the first epoch. Specifically, it is revealed that natural gradient descent (NGD) is essentially a weighted sum of per-sample gradients. Our novel approach further proposes to share these weighted coefficients across epochs without affecting empirical performance. Consequently, FNGD exhibits similarities to the average sum in first-order methods, leading to the computational complexity of FNGD being comparable to that of first-order methods. Extensive experiments on image classification and machine translation tasks demonstrate the efficiency of the proposed FNGD. For training ResNet-18 on CIFAR-100, FNGD can achieve a speedup of 2.07$\times$ compared with KFAC. For training Transformer on Multi30K, FNGD outperforms AdamW by 24 BLEU score while requiring almost the same training time.
• Abstract（参考訳）: 二階最適化手法は、二階微分や統計学を取り入れた一階法に比べて、より高速な収束率を達成する可能性がある。 しかし、深層学習におけるそれらの利用は、計算の非効率性のために制限されている。 この問題に対処する様々なアプローチが提案されており、主に逆行列のサイズを最小化することに焦点を当てている。 それでも、逆操作を行う必要性は反復的に持続する。 本研究では,第1次エポックの間にのみ反転を必要とする高速な自然勾配降下法を提案する。 具体的には、自然勾配降下(NGD)は本質的にサンプルごとの勾配の重み付け和であることが明らかとなった。 提案手法は, 経験的性能に影響を与えることなく, これらの重み付き係数をエポック間で共有するものである。 その結果、FNGDは1次法の平均和と類似性を示し、FNGDの計算複雑性は1次法に匹敵する。 画像分類と機械翻訳タスクに関する大規模な実験は、提案したFNGDの効率を実証している。 CIFAR-100上でResNet-18をトレーニングするために、FNGDはKFACと比較して2.07$\times$のスピードアップを達成できる。 Multi30Kでのトランスフォーマーのトレーニングでは、FNGDはAdamWを24 BLEUスコアで上回り、ほぼ同じトレーニング時間を必要とする。

関連論文リスト

• Derivative-Free Optimization via Finite Difference Approximation: An Experimental Study [1.3886390523644807]
  微分自由最適化(DFO)は、関数評価のみをオラクルで利用できるような複雑な最適化問題の解決に不可欠である。 2つの古典的なイテレーションアプローチは、Kiefer-Wolfowitz (KW) と同時摂動近似 (SPSA) アルゴリズムである。 本稿では,これらの手法の総合的な比較実験を行う。
  論文  参考訳（メタデータ） (2024-10-31T18:07:44Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for Deep Learning [8.173034693197351]
  深層学習における一階最適化のための新しい階層ごとの適応的なステップサイズ手順を提案する。 提案手法は,ディープニューラルネットワーク(DNN)におけるヘシアン対角ブロックに含まれる層次曲率情報を用いて,各層に対する適応的なステップサイズ(LR)を算出する。 数値実験により、SGDの運動量とAdamWと、提案した層ごとのステップサイズを組み合わせることで、効率的なLRスケジュールを選択できることが示されている。
  論文  参考訳（メタデータ） (2023-05-23T04:12:55Z)
• Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models [158.19276683455254]
  アダプティブ勾配アルゴリズムは、重ボール加速の移動平均アイデアを借用し、勾配の第1次モーメントを正確に推定し、収束を加速する。 ネステロフ加速は、理論上はボール加速よりも早く収束し、多くの経験的ケースでも収束する。 本稿では,計算勾配の余分な計算とメモリオーバーヘッドを回避するため,Nesterov運動量推定法(NME)を提案する。 Adan は視覚変換器 (ViT と CNN) で対応する SoTA を上回り,多くの人気ネットワークに対して新たな SoTA を設定する。
  論文  参考訳（メタデータ） (2022-08-13T16:04:39Z)
• Momentum-Based Policy Gradient with Second-Order Information [40.51117836892182]
  本稿では,2次情報を勾配降下に組み込んだSHARP法を提案する。 従来の研究と異なり,提案アルゴリズムでは,分散還元プロセスの利点を損なうような重要サンプリングを必要としない。 提案手法が様々な制御課題に対して有効であることを示すとともに,実際の技術状況に対する優位性を示す。
  論文  参考訳（メタデータ） (2022-05-17T11:56:50Z)
• Fast Margin Maximization via Dual Acceleration [52.62944011696364]
  指数関数的尾の損失を持つ線形分類器を訓練するための運動量に基づく手法を提案し,解析する。 この運動量に基づく法は、最大マルジン問題の凸双対、特にこの双対にネステロフ加速度を適用することによって導出される。
  論文  参考訳（メタデータ） (2021-07-01T16:36:39Z)
• Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs [25.158203665218164]
  適応勾配法は有限時間後にランダムシャッフルSGDよりも高速であることを示す。 我々の知る限り、適応的勾配法は有限時間後にSGDよりも高速であることを示すのはこれが初めてである。
  論文  参考訳（メタデータ） (2020-06-12T09:39:47Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。