論文の概要: Achieving acceleration despite very noisy gradients
- arxiv url: http://arxiv.org/abs/2302.05515v2
- Date: Fri, 26 May 2023 01:57:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 20:51:46.948000
- Title: Achieving acceleration despite very noisy gradients
- Title(参考訳): 騒音勾配によらず加速を達成する
- Authors: Kanan Gupta, Jonathan Siegel, Stephan Wojtowytsch
- Abstract要約: 我々はネステロフの加速勾配降下アルゴリズムの一般化を提案する。
AGNESは、勾配推定における信号と雑音の比がどれほど小さくても、加速収束率を達成する。
我々は,AGNESがCNNのトレーニングにおいて,運動量とネステロフの手法により勾配勾配よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a generalization of Nesterov's accelerated gradient descent
algorithm. Our algorithm (AGNES) provably achieves acceleration for smooth
convex minimization tasks with noisy gradient estimates if the noise intensity
is proportional to the magnitude of the gradient. Nesterov's accelerated
gradient descent does not converge under this noise model if the constant of
proportionality exceeds one. AGNES fixes this deficiency and provably achieves
an accelerated convergence rate no matter how small the signal to noise ratio
in the gradient estimate. Empirically, we demonstrate that this is an
appropriate model for mini-batch gradients in overparameterized deep learning.
Finally, we show that AGNES outperforms stochastic gradient descent with
momentum and Nesterov's method in the training of CNNs.
- Abstract(参考訳): 我々はネステロフの加速勾配降下アルゴリズムの一般化を提案する。
本アルゴリズム(agnes)は,ノイズ強度が勾配の大きさに比例する場合,ノイズ勾配推定を伴う滑らかな凸最小化タスクの高速化を実現する。
ネステロフの加速度勾配降下は、比例定数が1を超えるとこのノイズモデルの下で収束しない。
AGNESはこの欠陥を修正し、勾配推定における信号と雑音の比がどれほど小さくても、確実に加速収束率を達成する。
経験的に、これは過パラメータ深層学習におけるミニバッチ勾配の適切なモデルであることを示す。
最後に,AGNESは,CNNのトレーニングにおいて運動量とネステロフ法により確率勾配勾配よりも優れることを示す。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Acceleration and Implicit Regularization in Gaussian Phase Retrieval [5.484345596034159]
この設定では、Polyak や Nesterov の運動量の暗黙的な正規化による手法が、よい凸降下を保証することを証明している。
実験的な証拠は、これらの手法が実際には勾配降下よりも早く収束していることを示している。
論文 参考訳(メタデータ) (2023-11-21T04:10:03Z) - Adan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep
Models [158.19276683455254]
アダプティブ勾配アルゴリズムは、重ボール加速の移動平均アイデアを借用し、勾配の第1次モーメントを正確に推定し、収束を加速する。
ネステロフ加速は、理論上はボール加速よりも早く収束し、多くの経験的ケースでも収束する。
本稿では,計算勾配の余分な計算とメモリオーバーヘッドを回避するため,Nesterov運動量推定法(NME)を提案する。
Adan は視覚変換器 (ViT と CNN) で対応する SoTA を上回り,多くの人気ネットワークに対して新たな SoTA を設定する。
論文 参考訳(メタデータ) (2022-08-13T16:04:39Z) - On Training Implicit Models [75.20173180996501]
ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。
大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
論文 参考訳(メタデータ) (2021-11-09T14:40:24Z) - Revisiting the Characteristics of Stochastic Gradient Noise and Dynamics [25.95229631113089]
勾配雑音は有限分散を持ち、したがって中央極限定理(CLT)が適用されることを示す。
次に、勾配降下の定常分布の存在を実証し、その分布を少ない学習速度で近似する。
論文 参考訳(メタデータ) (2021-09-20T20:39:14Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Scaling transition from momentum stochastic gradient descent to plain
stochastic gradient descent [1.7874193862154875]
運動量勾配降下は、蓄積された勾配を電流パラメータの更新方向として利用する。
平坦勾配降下は, 累積勾配により補正されていない。
TSGDアルゴリズムは訓練速度が速く、精度が高く、安定性も向上している。
論文 参考訳(メタデータ) (2021-06-12T11:42:04Z) - Decreasing scaling transition from adaptive gradient descent to
stochastic gradient descent [1.7874193862154875]
本稿では,適応勾配降下法から勾配勾配降下法DSTAdaへのスケーリング遷移を減少させる手法を提案する。
実験の結果,DSTAdaは高速で精度が高く,安定性と堅牢性も向上した。
論文 参考訳(メタデータ) (2021-06-12T11:28:58Z) - A Study of Gradient Variance in Deep Learning [56.437755740715396]
階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。
我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
論文 参考訳(メタデータ) (2020-07-09T03:23:10Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳(メタデータ) (2020-06-16T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。