論文の概要: Universal Approximation Property of Random Neural Networks
- arxiv url: http://arxiv.org/abs/2312.08410v2
- Date: Wed, 20 Dec 2023 08:16:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 18:36:20.700919
- Title: Universal Approximation Property of Random Neural Networks
- Title(参考訳): ランダムニューラルネットワークの普遍近似特性
- Authors: Ariel Neufeld, Philipp Schmocker
- Abstract要約: ボヒナー空間の大規模なクラス内での普遍近似を証明する。
ランダムニューラルネットワークによって決定論的関数を学習するための近似率と明示的アルゴリズムを導出する。
- 参考スコア(独自算出の注目度): 3.943289808718775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study random neural networks which are single-hidden-layer
feedforward neural networks whose weights and biases are randomly initialized.
After this random initialization, only the linear readout needs to be trained,
which can be performed efficiently, e.g., by the least squares method. By
viewing random neural networks as Banach space-valued random variables, we
prove a universal approximation theorem within a large class of Bochner spaces.
Hereby, the corresponding Banach space can be significantly more general than
the space of continuous functions over a compact subset of a Euclidean space,
namely, e.g., an $L^p$-space or a Sobolev space, where the latter includes the
approximation of the derivatives. Moreover, we derive approximation rates and
an explicit algorithm to learn a deterministic function by a random neural
network. In addition, we provide a full error analysis and study when random
neural networks overcome the curse of dimensionality in the sense that the
training costs scale at most polynomially in the input and output dimension.
Furthermore, we show in two numerical examples the empirical advantages of
random neural networks compared to fully trained deterministic neural networks.
- Abstract(参考訳): 本稿では,重みとバイアスがランダムに初期化される単層フィードフォワードニューラルネットワークであるランダムニューラルネットワークについて検討する。
このランダムな初期化の後、線形読み出しのみを訓練する必要があり、最小二乗法のように効率的に行うことができる。
確率ニューラルネットワークをバナッハ空間値確率変数として見ることにより、ボホナー空間の大きなクラス内で普遍近似定理を証明する。
ここで、対応するバナッハ空間はユークリッド空間のコンパクト部分集合(例えば、$l^p$-空間やソボレフ空間)上の連続函数の空間よりも大きく、後者は微分の近似を含む。
さらに,ランダムニューラルネットワークを用いて決定論的関数を学習するために近似率と明示的アルゴリズムを導出する。
さらに,入力・出力次元において,学習コストが最大に多項式的に大きくなるという意味で,ランダムニューラルネットワークが次元の呪いを克服した場合の完全な誤差解析と研究を行う。
さらに,完全訓練された決定論的ニューラルネットワークと比較して,ランダムニューラルネットワークの実証的利点を2つの数値例で示す。
関連論文リスト
- Universal Approximation and the Topological Neural Network [0.0]
トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。
また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
論文 参考訳(メタデータ) (2023-05-26T05:28:10Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳(メタデータ) (2023-03-09T10:08:34Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Why Quantization Improves Generalization: NTK of Binary Weight Neural
Networks [33.08636537654596]
ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。
本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-06-13T06:11:21Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳(メタデータ) (2021-10-12T01:11:07Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - How Powerful are Shallow Neural Networks with Bandlimited Random
Weights? [25.102870584507244]
制限深度2バンドランダムニューラルネットワークの表現力について検討する。
ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
論文 参考訳(メタデータ) (2020-08-19T13:26:12Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳(メタデータ) (2020-06-24T02:44:54Z) - A function space analysis of finite neural networks with insights from
sampling theory [41.07083436560303]
非拡張活性化関数を持つ多層ネットワークが生成する関数空間は滑らかであることを示す。
入力が帯域制限の仮定の下では、新しいエラー境界を提供する。
前者の利点を示す決定論的一様とランダムサンプリングの両方を解析した。
論文 参考訳(メタデータ) (2020-04-15T10:25:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。