論文の概要: Non-convergence to global minimizers for Adam and stochastic gradient
descent optimization and constructions of local minimizers in the training of
artificial neural networks
- arxiv url: http://arxiv.org/abs/2402.05155v1
- Date: Wed, 7 Feb 2024 16:14:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 17:45:36.336423
- Title: Non-convergence to global minimizers for Adam and stochastic gradient
descent optimization and constructions of local minimizers in the training of
artificial neural networks
- Title（参考訳）: ニューラルネットワーク学習におけるadamと確率勾配降下最適化のための大域的最小化器の非収束と局所的最小化器の構成
- Authors: Arnulf Jentzen, Adrian Riekert
- Abstract要約: SGDメソッドがANNのトレーニングに成功している理由を厳格に説明することは、依然としてオープンな問題である。
我々は、SGD法が高い確率で大域最小化器を見つけることができることを証明した。
さらに、SGD法が高い確率で行うようなANNの訓練では、大域的な最小化に収束することができないことを示す。
- 参考スコア（独自算出の注目度）: 6.708125191843434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic gradient descent (SGD) optimization methods such as the plain
vanilla SGD method and the popular Adam optimizer are nowadays the method of
choice in the training of artificial neural networks (ANNs). Despite the
remarkable success of SGD methods in the ANN training in numerical simulations,
it remains in essentially all practical relevant scenarios an open problem to
rigorously explain why SGD methods seem to succeed to train ANNs. In
particular, in most practically relevant supervised learning problems, it seems
that SGD methods do with high probability not converge to global minimizers in
the optimization landscape of the ANN training problem. Nevertheless, it
remains an open problem of research to disprove the convergence of SGD methods
to global minimizers. In this work we solve this research problem in the
situation of shallow ANNs with the rectified linear unit (ReLU) and related
activations with the standard mean square error loss by disproving in the
training of such ANNs that SGD methods (such as the plain vanilla SGD, the
momentum SGD, the AdaGrad, the RMSprop, and the Adam optimizers) can find a
global minimizer with high probability. Even stronger, we reveal in the
training of such ANNs that SGD methods do with high probability fail to
converge to global minimizers in the optimization landscape. The findings of
this work do, however, not disprove that SGD methods succeed to train ANNs
since they do not exclude the possibility that SGD methods find good local
minimizers whose risk values are close to the risk values of the global
minimizers. In this context, another key contribution of this work is to
establish the existence of a hierarchical structure of local minimizers with
distinct risk values in the optimization landscape of ANN training problems
with ReLU and related activations.
- Abstract（参考訳）: 一般のバニラSGD法やアダム最適化法のような確率勾配勾配(SGD)最適化法は,近年,人工ニューラルネットワーク(ANN)の訓練における選択方法となっている。
数値シミュレーションにおいてSGD法が顕著に成功したにもかかわらず、SGD法がANNの訓練に成功しているように見える理由を厳格に説明するためのオープンな問題として、実質的にはすべての実践的なシナリオで残っている。
特に,実際に関連する教師付き学習問題において,sgd法は,ann学習問題の最適化環境において,大域的最小値に収束しない確率が高いと考えられる。
それでも、SGD法のグローバル・ミニマライザーへの収束を否定する研究のオープンな問題である。
本研究では,直交線形単位 (ReLU) を持つ浅層ANNの状況と,SGD法(プレーンバニラSGD,運動量SGD,AdaGrad,RMSprop,Adamオプティマイザなど)のトレーニングにおいて,標準的な平均二乗誤差損失と関連するアクティベーションとを相殺することで,この課題を解決する。
さらに,sgd法が高い確率で行うアンの訓練では,最適化環境における大域的最小化に収束しないことが明らかとなった。
しかし、この研究の成果は、sgd法がリスク値がグローバル・ミニマルのリスク値に近い良い局所的最小値を見つける可能性を排除するものではないため、sgd法がアンの訓練に成功することを否定するものではない。
この文脈において、この研究の重要な貢献は、ReLUと関連するアクティベーションを伴うANNトレーニング問題の最適化ランドスケープにおいて、異なるリスク値を持つ局所最小化器の階層構造の存在を確立することである。
関連論文リスト
- Evolutionary Algorithms in the Light of SGD: Limit Equivalence, Minima
Flatness, and Transfer Learning [7.262048441360132]
我々は、自然進化のためのGillespie-Orr変異ランドスケープモデルにインスパイアされた進化的アルゴリズムのクラス(EA)が、正式にはグラディエント・Descent(SGD)と等価であることを示す。
次に,ANNがほぼ最適あるいは伝達学習環境で訓練された場合,同値性はミューチュアルランドスケープモデルからSGDへの洞察の伝達にも有効であることを示す。
論文 参考訳（メタデータ） (2023-05-20T22:26:44Z) - Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。
クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。
tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。
理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文 参考訳（メタデータ） (2023-05-19T10:47:44Z) - Membrane Potential Distribution Adjustment and Parametric Surrogate
Gradient in Spiking Neural Networks [3.485537704990941]
この問題を回避し、SNNをゼロから訓練するために、SG戦略を調査し、適用した。
パラメトリックサロゲート勾配(PSG)法を提案し,SGを反復的に更新し,最終的に最適なサロゲート勾配パラメータを決定する。
実験結果から,提案手法は時間によるバックプロパゲーション(BPTT)アルゴリズムと容易に統合可能であることが示された。
論文 参考訳（メタデータ） (2023-04-26T05:02:41Z) - Adaptive Self-supervision Algorithms for Physics-informed Neural
Networks [59.822151945132525]
物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。
これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。
モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
論文 参考訳（メタデータ） (2022-07-08T18:17:06Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-12T15:12:17Z) - Convergence proof for stochastic gradient descent in the training of
deep neural networks with ReLU activation for constant target functions [1.7149364927872015]
勾配降下(SGD)型最適化法はディープニューラルネットワーク(DNN)の訓練において非常に効果的に機能する
本研究では,修正線形単位(ReLU)アクティベーションを備えた完全連結フィードフォワードDNNのトレーニングにおけるSGD型最適化手法について検討する。
論文 参考訳（メタデータ） (2021-12-13T11:45:36Z) - AlterSGD: Finding Flat Minima for Continual Learning by Alternative
Training [11.521519687645428]
本稿では,損失景観における平らな最小値を求めるために,AlterSGDと呼ばれるシンプルで効果的な最適化手法を提案する。
このような戦略は、最適化が平坦なミニマに収束することを促進できることを示す。
セマンティックセグメンテーションのための連続学習ベンチマーク上でAlterSGDを検証し、実験結果から、忘れを著しく軽減できることを示す。
論文 参考訳（メタデータ） (2021-07-13T01:43:51Z) - Local Stochastic Gradient Descent Ascent: Convergence Analysis and
Communication Efficiency [15.04034188283642]
Local SGDは分散学習における通信オーバーヘッドを克服するための有望なアプローチである。
局所sgdaは均質データと異質データの両方において分散ミニマックス問題を確実に最適化できることを示す。
論文 参考訳（メタデータ） (2021-02-25T20:15:18Z) - TaylorGAN: Neighbor-Augmented Policy Update for Sample-Efficient Natural
Language Generation [79.4205462326301]
TaylorGANは関数ベースの自然言語生成のための新しいアプローチである。
オフポリシー更新による勾配推定と1階のTaylor拡張が強化される。
これにより、より小さなバッチサイズで、スクラッチからNLGモデルをトレーニングすることができます。
論文 参考訳（メタデータ） (2020-11-27T02:26:15Z) - Unbiased Risk Estimators Can Mislead: A Case Study of Learning with
Complementary Labels [92.98756432746482]
我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。
勾配推定の品質はリスク最小化においてより重要であることを示す。
本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-05T04:19:37Z) - Detached Error Feedback for Distributed SGD with Random Sparsification [98.98236187442258]
コミュニケーションのボトルネックは、大規模なディープラーニングにおいて重要な問題である。
非効率な分散問題に対する誤りフィードバックよりも優れた収束性を示す分散誤差フィードバック(DEF)アルゴリズムを提案する。
また、DEFよりも優れた境界を示すDEFの一般化を加速するDEFAを提案する。
論文 参考訳（メタデータ） (2020-04-11T03:50:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。