論文の概要: Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2005.10807v2
• Date: Fri, 2 Oct 2020 05:33:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 23:02:06.436565
• Title: Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
• Title（参考訳）: 機械学習におけるコルモゴロフ幅減少と貧弱近似器:浅層ニューラルネットワーク,ランダム特徴モデル,ニューラルタンジェントカーネル
• Authors: Weinan E and Stephan Wojtowytsch
• Abstract要約: 与えられたバナッハ空間の部分空間間のコルモゴロフ幅型のスケール分離を確立する。 再現されたカーネルヒルベルト空間は、高次元の2層ニューラルネットワークのクラスに対してL2$-approximatorが貧弱であることを示す。
• 参考スコア（独自算出の注目度）: 8.160343645537106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish a scale separation of Kolmogorov width type between subspaces of a given Banach space under the condition that a sequence of linear maps converges much faster on one of the subspaces. The general technique is then applied to show that reproducing kernel Hilbert spaces are poor $L^2$-approximators for the class of two-layer neural networks in high dimension, and that multi-layer networks with small path norm are poor approximators for certain Lipschitz functions, also in the $L^2$-topology.
• Abstract（参考訳）: 与えられたバナッハ空間の部分空間間のコルモゴロフ幅型のスケール分離を、線型写像の列が部分空間の一方でより高速に収束する条件下で確立する。 この手法を適用して、再現されたカーネルヒルベルト空間は高次元の2層ニューラルネットワークのクラスに対して貧しい$L^2$-近似器であり、小経路ノルムを持つ多層ネットワークは特定のリプシッツ関数に対して悪い近似器であることを示す。

関連論文リスト

• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Two-layer neural networks with values in a Banach space [1.90365714903665]
  本研究では,領域と範囲がバラッハ空間である2層ニューラルネットワークについて検討する。 非線形性として、正の部分を取る格子演算を選択し、$mathbb Rd$-valued ニューラルネットワークの場合、これはReLU活性化関数に対応する。
  論文  参考訳（メタデータ） (2021-05-05T14:54:24Z)
• On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics [8.160343645537106]
  有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。 空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。 このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
  論文  参考訳（メタデータ） (2020-07-30T17:47:05Z)
• Theory of Deep Convolutional Neural Networks II: Spherical Analysis [9.099589602551573]
  単位球面$mathbbSd-1$ of $mathbbRd$ 上の近似関数に適用された深部畳み込みニューラルネットワークの族を考える。 我々の解析は、近似関数がソボレフ空間 $Wr_infty (mathbbSd-1)$ に$r>0$ あるいは加法リッジ形式を取るとき、一様近似の速度を示す。
  論文  参考訳（メタデータ） (2020-07-28T14:54:30Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。