論文の概要: Overall error analysis for the training of deep neural networks via stochastic gradient descent with random initialisation

• arxiv url: http://arxiv.org/abs/2003.01291v1
• Date: Tue, 3 Mar 2020 01:41:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 22:45:11.939191
• Title: Overall error analysis for the training of deep neural networks via stochastic gradient descent with random initialisation
• Title（参考訳）: ランダム初期化による確率勾配降下による深部ニューラルネットワークの学習における総合誤差解析
• Authors: Arnulf Jentzen and Timo Welti
• Abstract要約: 本研究では,2次損失関数を用いた深層学習に基づく経験的リスク最小化の数学的に厳密な完全誤差解析を行う。 しかし、我々は、確率論的に強い意味でのディープラーニングに基づくアルゴリズムのための、科学文献における最初の完全な誤り解析を確立した。
• 参考スコア（独自算出の注目度）: 2.4874453414078896
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In spite of the accomplishments of deep learning based algorithms in numerous applications and very broad corresponding research interest, at the moment there is still no rigorous understanding of the reasons why such algorithms produce useful results in certain situations. A thorough mathematical analysis of deep learning based algorithms seems to be crucial in order to improve our understanding and to make their implementation more effective and efficient. In this article we provide a mathematically rigorous full error analysis of deep learning based empirical risk minimisation with quadratic loss function in the probabilistically strong sense, where the underlying deep neural networks are trained using stochastic gradient descent with random initialisation. The convergence speed we obtain is presumably far from optimal and suffers under the curse of dimensionality. To the best of our knowledge, we establish, however, the first full error analysis in the scientific literature for a deep learning based algorithm in the probabilistically strong sense and, moreover, the first full error analysis in the scientific literature for a deep learning based algorithm where stochastic gradient descent with random initialisation is the employed optimisation method.
• Abstract（参考訳）: 深層学習に基づくアルゴリズムが多くの応用で達成され、非常に幅広い研究の関心が集まっているにもかかわらず、そのようなアルゴリズムが特定の状況で有用な結果をもたらす理由について厳密な理解はいまだにない。 深層学習に基づくアルゴリズムの数学的解析は、理解を改善し、その実装をより効果的かつ効率的にするために重要であると考えられる。 本稿では,確率的に強い意味での二次損失関数を用いた経験的リスク最小化を用いた,確率的勾配降下とランダム初期化を用いて深層ニューラルネットワークを訓練する深層ニューラルネットワークの数学的厳密な完全誤り解析を提案する。 我々が得る収束速度はおそらく最適とは程遠いものであり、次元の呪いに苦しむ。 しかし,我々の知識を最大限に活用するために,確率的に強い意味での深層学習に基づくアルゴリズムの科学的文献における最初の完全な誤差解析と,ランダム初期化を伴う確率的勾配降下が採用される深層学習に基づくアルゴリズムの科学的文献における最初の完全な誤差解析を定式化する。

関連論文リスト

• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Performance Analysis of Fractional Learning Algorithms [32.21539962359158]
  従来のアルゴリズムよりも格段に優越性が高いかどうかは定かでないが、その性能が広範に分析されることはなかったため神話である。 本稿では,最小平均二乗および最急降下アルゴリズムの分数変分を厳密に解析する。 学習アルゴリズムの性能に関するその起源と結果について論じ,素早い準備の整った治療法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T12:06:44Z)
• Sparse Deep Learning: A New Framework Immune to Local Traps and Miscalibration [12.05471394131891]
  我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。 我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-01T21:16:34Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces [5.863264019032882]
  関数の近似化や積分に基づく(決定的あるいはランダム化)アルゴリズムの計算複雑性について検討する。 この分野における最も重要な問題の1つは、理論的に証明可能なニューラルネットワーク近似率を実現できるかどうかという問題である。
  論文  参考訳（メタデータ） (2021-04-06T18:55:20Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Strong overall error analysis for the training of artificial neural networks via random initializations [3.198144010381572]
  その結果,同じ近似速度を得るためには,ニューラルネットワークの深さがはるかに遅くなるだけでよいことがわかった。 i.i.dの任意の最適化アルゴリズムの場合、結果は保持される。 ランダム初期化。
  論文  参考訳（メタデータ） (2020-12-15T17:34:16Z)
• Enhancing accuracy of deep learning algorithms by training with low-discrepancy sequences [15.2292571922932]
  トレーニングセットとして低差分シーケンスに基づく深層教師付き学習アルゴリズムを提案する。 提案アルゴリズムは, 適度な高次元の問題に対して, 標準的なディープラーニングアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-26T08:14:00Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。