論文の概要: A high-resolution dynamical view on momentum methods for
over-parameterized neural networks
- arxiv url: http://arxiv.org/abs/2208.03941v1
- Date: Mon, 8 Aug 2022 07:13:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:33:41.875118
- Title: A high-resolution dynamical view on momentum methods for
over-parameterized neural networks
- Title(参考訳): 過パラメータニューラルネットワークの運動量法に関する高分解能動的考察
- Authors: Xin Liu, Wei Tao, Jun Wang, Zhisong Pan
- Abstract要約: 重ボール法 (HB) とネステロフの加速法 (NAG) は同じ極限常微分方程式 (ODE) を共有していることを示す。
以上の結果より,HBおよびNAGの高分解能ODEに対する収束性はより強いことが示唆された。
- 参考スコア(独自算出の注目度): 25.0743742344486
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we present the convergence analysis of momentum methods in
training a two-layer over-parameterized ReLU neural network, where the number
of parameters is significantly larger than that of training instances. Existing
works on momentum methods show that the heavy-ball method (HB) and Nesterov's
accelerated method (NAG) share the same limiting ordinary differential equation
(ODE), which leads to identical convergence rate. From a high-resolution
dynamical view, we show that HB differs from NAG in terms of the convergence
rate. In addition, our findings provide tighter upper bounds on convergence for
the high-resolution ODEs of HB and NAG.
- Abstract(参考訳): 本稿では,2層超パラメータreluニューラルネットワークの学習における運動量法の収束解析について述べる。
運動量法に関する既存の研究は、ヘビーボール法(HB)とネステロフの加速法(NAG)が同じ極限常微分方程式(ODE)を共有していることを示している。
高分解能の力学の視点から、hb は収束率の点で nag と異なることを示した。
さらに,HBおよびNAGの高分解能ODEに対する収束性について,より厳密な上限を提供する。
関連論文リスト
- Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。
解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文 参考訳(メタデータ) (2024-03-11T09:10:37Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - Mean-field analysis for heavy ball methods: Dropout-stability,
connectivity, and global convergence [17.63517562327928]
本稿では,2層および3層からなるニューラルネットワークに着目し,SHBの解の性質を厳密に把握する。
有限幅ネットワークにおける平均場限界とSHBダイナミクスの間には,大域的最適度への収束性を示し,定量的な境界を与える。
論文 参考訳(メタデータ) (2022-10-13T08:08:25Z) - Momentum Diminishes the Effect of Spectral Bias in Physics-Informed
Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。
彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。
本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文 参考訳(メタデータ) (2022-06-29T19:03:10Z) - A Convergence Analysis of Nesterov's Accelerated Gradient Method in
Training Deep Linear Neural Networks [21.994004684742812]
モメンタム法は高速軌道のトレーニングネットワークで広く用いられている。
ランダム数と$kappaOの収束は、大域的な最小値に収束できることを示す。
我々は解析を深い線形ResNetに拡張し、同様の結果を導出する。
論文 参考訳(メタデータ) (2022-04-18T13:24:12Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳(メタデータ) (2020-06-16T15:07:37Z) - Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。
我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文 参考訳(メタデータ) (2020-03-11T13:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。