論文の概要: Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces

• arxiv url: http://arxiv.org/abs/2104.02746v1
• Date: Tue, 6 Apr 2021 18:55:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 12:36:07.649173
• Title: Proof of the Theory-to-Practice Gap in Deep Learning via Sampling Complexity bounds for Neural Network Approximation Spaces
• Title（参考訳）: ニューラルネットワーク近似空間のサンプリング複雑度境界によるディープラーニングにおける理論と実践ギャップの証明
• Authors: Philipp Grohs, Felix Voigtlaender
• Abstract要約: 関数の近似化や積分に基づく(決定的あるいはランダム化)アルゴリズムの計算複雑性について検討する。 この分野における最も重要な問題の1つは、理論的に証明可能なニューラルネットワーク近似率を実現できるかどうかという問題である。
• 参考スコア（独自算出の注目度）: 5.863264019032882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the computational complexity of (deterministic or randomized) algorithms based on point samples for approximating or integrating functions that can be well approximated by neural networks. Such algorithms (most prominently stochastic gradient descent and its variants) are used extensively in the field of deep learning. One of the most important problems in this field concerns the question of whether it is possible to realize theoretically provable neural network approximation rates by such algorithms. We answer this question in the negative by proving hardness results for the problems of approximation and integration on a novel class of neural network approximation spaces. In particular, our results confirm a conjectured and empirically observed theory-to-practice gap in deep learning. We complement our hardness results by showing that approximation rates of a comparable order of convergence are (at least theoretically) achievable.
• Abstract（参考訳）: ニューラルネットワークでよく近似できる関数の近似や積分のための点サンプルに基づく(決定論的あるいはランダム化された)アルゴリズムの計算複雑性について検討する。 このようなアルゴリズム(最も顕著に確率的勾配降下とその変種)はディープラーニングの分野で広く使われている。 この分野で最も重要な問題の1つは、理論的に証明可能なニューラルネットワーク近似率をそのようなアルゴリズムで実現できるかどうかに関する問題である。 ニューラルネットワーク近似空間の新たなクラスにおける近似と積分の問題に対する硬度結果の証明によって、この疑問に否定的に答える。 特に, 深層学習における理論と実践のギャップを推測し, 実証的に観察した。 我々は、同値収束の近似率が(少なくとも理論的には)達成可能であることを示すことで、硬度結果を補完する。

関連論文リスト

• Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
  有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。 ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。 我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
  論文  参考訳（メタデータ） (2024-07-26T12:45:53Z)
• A new approach to generalisation error of machine learning algorithms: Estimates and convergence [0.0]
  本稿では,(一般化)誤差の推定と収束に対する新しいアプローチを提案する。 本研究の結果は,ニューラルネットワークの構造的仮定を伴わない誤差の推定を含む。
  論文  参考訳（メタデータ） (2023-06-23T20:57:31Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Mean-field neural networks: learning mappings on Wasserstein space [0.0]
  確率測度のワッサーシュタイン空間と関数の空間を対応づけたモデルに対する機械学習タスクについて検討する。 ニューラルネットワークの2つのクラスは、いわゆる平均場関数を学習するために提案される。 本稿では,時間依存型平均場問題の解法として,平均場ニューラルネットワークを用いたアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-27T05:11:42Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• An Overview of Uncertainty Quantification Methods for Infinite Neural Networks [0.0]
  無限幅ニューラルネットワークにおける不確実性を定量化する手法について検討する。 我々は、予測の不確実性に対する厳密な閉形式解を得るために、いくつかの等価結果を利用する。
  論文  参考訳（メタデータ） (2022-01-13T00:03:22Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Overall error analysis for the training of deep neural networks via stochastic gradient descent with random initialisation [2.4874453414078896]
  本研究では,2次損失関数を用いた深層学習に基づく経験的リスク最小化の数学的に厳密な完全誤差解析を行う。 しかし、我々は、確率論的に強い意味でのディープラーニングに基づくアルゴリズムのための、科学文献における最初の完全な誤り解析を確立した。
  論文  参考訳（メタデータ） (2020-03-03T01:41:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。