Fugu-MT 論文翻訳(概要): Strong overall error analysis for the training of artificial neural networks via random initializations

論文の概要: Strong overall error analysis for the training of artificial neural networks via random initializations

arxiv url: http://arxiv.org/abs/2012.08443v1
Date: Tue, 15 Dec 2020 17:34:16 GMT
ステータス: 処理完了
システム内更新日: 2021-05-07 05:04:21.047486
Title: Strong overall error analysis for the training of artificial neural networks via random initializations
Title（参考訳）: ランダム初期化によるニューラルネットワークのトレーニングのための強大な総合的誤差解析
Authors: Arnulf Jentzen and Adrian Riekert
Abstract要約: その結果,同じ近似速度を得るためには,ニューラルネットワークの深さがはるかに遅くなるだけでよいことがわかった。 i.i.dの任意の最適化アルゴリズムの場合、結果は保持される。ランダム初期化。
参考スコア（独自算出の注目度）: 3.198144010381572
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Although deep learning based approximation algorithms have been applied very successfully to numerous problems, at the moment the reasons for their performance are not entirely understood from a mathematical point of view. Recently, estimates for the convergence of the overall error have been obtained in the situation of deep supervised learning, but with an extremely slow rate of convergence. In this note we partially improve on these estimates. More specifically, we show that the depth of the neural network only needs to increase much slower in order to obtain the same rate of approximation. The results hold in the case of an arbitrary stochastic optimization algorithm with i.i.d.\ random initializations.
Abstract（参考訳）: ディープラーニングに基づく近似アルゴリズムは、多くの問題に非常にうまく適用されてきたが、現時点ではその性能の理由は数学的観点から完全には理解されていない。近年,深い教師付き学習の状況において,総誤差の収束率を推定する手法が提案されているが,収束率は非常に遅い。ここでは、これらの見積もりを部分的に改善する。より具体的には、同じ近似率を得るためには、ニューラルネットワークの深さがはるかに遅いだけであることを示す。結果は任意の確率最適化アルゴリズムの場合、すなわちランダム初期化を伴う。

関連論文リスト

Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks [19.185059111021854]
本稿では,勾配降下,符号降下,座標降下を含む急勾配降下アルゴリズムの一般家系の暗黙バイアスについて検討する。ネットワークが完全なトレーニング精度に達すると,アルゴリズム依存の幾何マージンが増加し始めることを実証する。
論文参考訳（メタデータ） (2024-10-29T14:28:49Z)
Conjugate-Gradient-like Based Adaptive Moment Estimation Optimization Algorithm for Deep Learning [2.695991050833627]
本稿では,ディープラーニングのためのCG-like-Adamという新しい最適化アルゴリズムを提案する。具体的には、ジェネリック・アダムの第1次と第2次モーメント推定の両方を共役次数様に置き換える。 CIFAR10/100データセットに基づく提案アルゴリズムの優位性を示す数値実験を行った。
論文参考訳（メタデータ） (2024-04-02T07:57:17Z)
A new approach to generalisation error of machine learning algorithms: Estimates and convergence [0.0]
本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
論文参考訳（メタデータ） (2023-06-23T20:57:31Z)
On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文参考訳（メタデータ） (2022-08-16T21:22:34Z)
Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-05-06T13:18:31Z)
Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization [118.50301177912381]
我々は,重力減衰グローバリゼーションにおいても,目的の異なる解に確実に異なる誤差で収束できることを示す。凸と重み減衰正則化を用いると、Adamを含む任意の最適化アルゴリズムは同じ解に収束することを示す。
論文参考訳（メタデータ） (2021-08-25T17:58:21Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
Convergence rates for gradient descent in the training of overparameterized artificial neural networks with biases [3.198144010381572]
近年、人工ニューラルネットワークは、古典的なソリューションが近づいている多数の問題に対処するための強力なツールに発展しています。ランダムな勾配降下アルゴリズムが限界に達する理由はまだ不明である。
論文参考訳（メタデータ） (2021-02-23T18:17:47Z)
Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文参考訳（メタデータ） (2020-05-05T18:08:23Z)
Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
論文参考訳（メタデータ） (2020-03-31T16:54:22Z)
Overall error analysis for the training of deep neural networks via stochastic gradient descent with random initialisation [2.4874453414078896]
本研究では,2次損失関数を用いた深層学習に基づく経験的リスク最小化の数学的に厳密な完全誤差解析を行う。しかし、我々は、確率論的に強い意味でのディープラーニングに基づくアルゴリズムのための、科学文献における最初の完全な誤り解析を確立した。
論文参考訳（メタデータ） (2020-03-03T01:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。