論文の概要: Multi-layer random features and the approximation power of neural networks
- arxiv url: http://arxiv.org/abs/2404.17461v1
- Date: Fri, 26 Apr 2024 14:57:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 12:55:05.087239
- Title: Multi-layer random features and the approximation power of neural networks
- Title（参考訳）: ニューラルネットワークの多層ランダム特性と近似パワー
- Authors: Rustem Takhanov,
- Abstract要約: 再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。
NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
- 参考スコア（独自算出の注目度）: 4.178980693837599
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A neural architecture with randomly initialized weights, in the infinite width limit, is equivalent to a Gaussian Random Field whose covariance function is the so-called Neural Network Gaussian Process kernel (NNGP). We prove that a reproducing kernel Hilbert space (RKHS) defined by the NNGP contains only functions that can be approximated by the architecture. To achieve a certain approximation error the required number of neurons in each layer is defined by the RKHS norm of the target function. Moreover, the approximation can be constructed from a supervised dataset by a random multi-layer representation of an input vector, together with training of the last layer's weights. For a 2-layer NN and a domain equal to an $n-1$-dimensional sphere in ${\mathbb R}^n$, we compare the number of neurons required by Barron's theorem and by the multi-layer features construction. We show that if eigenvalues of the integral operator of the NNGP decay slower than $k^{-n-\frac{2}{3}}$ where $k$ is an order of an eigenvalue, then our theorem guarantees a more succinct neural network approximation than Barron's theorem. We also make some computational experiments to verify our theoretical findings. Our experiments show that realistic neural networks easily learn target functions even when both theorems do not give any guarantees.
- Abstract（参考訳）: 無限幅制限でランダムに初期化された重みを持つニューラルネットワークアーキテクチャは、共分散関数がいわゆるニューラル・ニューラルネットワーク・ガウス・プロセス・カーネル(NNGP)であるガウスランダム場と等価である。
NNGPによって定義される再生カーネルヒルベルト空間(RKHS)は、アーキテクチャによって近似できる関数のみを含むことを証明している。
特定の近似誤差を達成するために、各層における所要のニューロン数は、目標関数のRKHSノルムによって定義される。
さらに、この近似は、最終層の重みのトレーニングとともに、入力ベクトルのランダムな多層表現によって教師付きデータセットから構築することができる。
2層NNと${\mathbb R}^n$の次元球面に等しい領域に対して、バロンの定理と多層特徴構成によって要求されるニューロンの数を比較する。
NNGP の積分作用素の固有値が $k^{-n-\frac{2}{3}}$ よりも遅く、$k$ が固有値の順序であれば、この定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
また、理論的な結果を検証するために、いくつかの計算実験を行っている。
実験の結果,両定理が保証を与えなくても,現実的なニューラルネットワークは容易に対象関数を学習できることがわかった。
関連論文リスト
- Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods [0.0]
我々はBrownian Kernel Neural Network (BKerNN) と呼ばれる推定器の効率的な手法を提案する。
BKerNNの予測リスクは、O(min((d/n)1/2, n-1/6)$(対数因子まで)の明示的な高い確率で最小限のリスクに収束することを示す。
論文 参考訳（メタデータ） (2024-07-24T13:46:50Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Universal Approximation Theorem and error bounds for quantum neural
networks and quantum reservoirs [2.741266294612776]
ここでは、関数の特定のクラスに対して正確な誤差境界を提供し、これらの結果をランダム化された量子回路の興味深い新しいセットアップに拡張する。
特に, $mathcalO(varepsilon-2)$ weights および $mathcalO(lceil log_2(varepsilon-1) rceil)$ qubits suffices を用いて, 積分フーリエ変換で関数を近似すると, 精度が $varepsilon>0$ となることを示す。
論文 参考訳（メタデータ） (2023-07-24T15:52:33Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳（メタデータ） (2021-02-20T10:14:37Z) - Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。
さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
論文 参考訳（メタデータ） (2020-07-30T23:50:44Z) - Theory of Deep Convolutional Neural Networks II: Spherical Analysis [9.099589602551573]
単位球面$mathbbSd-1$ of $mathbbRd$ 上の近似関数に適用された深部畳み込みニューラルネットワークの族を考える。
我々の解析は、近似関数がソボレフ空間 $Wr_infty (mathbbSd-1)$ に$r>0$ あるいは加法リッジ形式を取るとき、一様近似の速度を示す。
論文 参考訳（メタデータ） (2020-07-28T14:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。