論文の概要: Universal Approximation Property of Random Neural Networks
- arxiv url: http://arxiv.org/abs/2312.08410v1
- Date: Wed, 13 Dec 2023 11:27:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 02:54:07.108272
- Title: Universal Approximation Property of Random Neural Networks
- Title（参考訳）: ランダムニューラルネットワークの普遍近似特性
- Authors: Ariel Neufeld, Philipp Schmocker
- Abstract要約: 重みとバイアスをランダムに選択した単層フィードフォワードニューラルネットワークについて検討した。
ランダムニューラルネットワークをバナッハ空間値のランダム変数として見ることにより、それらの普遍近似特性を証明できる。
ランダムニューラルネットワークを用いて決定論的関数を学習するための明示的なアルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 3.943289808718775
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we study random neural networks which are single-hidden-layer
feedforward neural networks whose weights and biases are randomly initialized.
After this random initialization, only the linear readout needs to be trained,
which can be performed efficiently, e.g., by the least squares method. By
viewing random neural networks as Banach space-valued random variables, we
prove their universal approximation properties within suitable Bochner spaces.
Hereby, the corresponding Banach space can be more general than the space of
continuous functions over a compact subset of a Euclidean space, namely, e.g.,
an $L^p$-space or a Sobolev space, where the latter includes the approximation
of the derivatives. Moreover, we derive some approximation rates and develop an
explicit algorithm to learn a deterministic function by a random neural
network. In addition, we provide a full error analysis and study when random
neural networks overcome the curse of dimensionality in the sense that the
training costs scale at most polynomially in the input and output dimension.
Furthermore, we show in two numerical examples the empirical advantages of
random neural networks compared to fully trained deterministic neural networks.
- Abstract（参考訳）: 本稿では,重みとバイアスがランダムに初期化される単層フィードフォワードニューラルネットワークであるランダムニューラルネットワークについて検討する。
このランダムな初期化の後、線形読み出しのみを訓練する必要があり、最小二乗法のように効率的に行うことができる。
ランダムニューラルネットワークをバナッハ空間値のランダム変数として見ることにより、ボヒナー空間内の普遍近似特性を証明できる。
これにより、対応するバナッハ空間はユークリッド空間のコンパクト部分集合(例えば$L^p$-空間やソボレフ空間など)上の連続函数の空間よりもより一般にすることができる。
さらに、近似率を導出し、ランダムニューラルネットワークを用いて決定論的関数を学習するための明示的なアルゴリズムを開発する。
さらに,入力・出力次元において,学習コストが最大に多項式的に大きくなるという意味で,ランダムニューラルネットワークが次元の呪いを克服した場合の完全な誤差解析と研究を行う。
さらに,完全訓練された決定論的ニューラルネットワークと比較して,ランダムニューラルネットワークの実証的利点を2つの数値例で示す。
関連論文リスト
- Nonuniform random feature models using derivative information [10.239175197655266]
ニューラルネットワークの初期化のための不均一なデータ駆動パラメータ分布を近似する関数の微分データに基づいて提案する。
We address the case of Heaviside and ReLU activation function and their smooth approximations (Sigmoid and softplus)。
入力点における近似微分データに基づいて、これらの正確な密度を単純化し、非常に効率的なサンプリングを可能にし、複数のシナリオにおいて最適なネットワークに近いランダムな特徴モデルの性能をもたらすことを提案する。
論文 参考訳（メタデータ） (2024-10-03T01:30:13Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - An Information-Theoretic Analysis of Compute-Optimal Neural Scaling Laws [24.356906682593532]
大規模ニューラルネットワークにおけるモデルとトレーニングデータセットサイズ間の計算-最適トレードオフについて検討する。
以上の結果から, チンチラの実証分析で裏付けられる線形関係が示唆された。
論文 参考訳（メタデータ） (2022-12-02T18:46:41Z) - Learning Single-Index Models with Shallow Neural Networks [43.6480804626033]
我々は、浅層ニューラルネットワークの自然なクラスを導入し、勾配流を通して単一インデックスモデルを学習する能力について研究する。
対応する最適化ランドスケープが良性であることを示し、それによって専用半パラメトリック手法の準最適サンプル複雑性に一致するような一般化保証が得られることを示す。
論文 参考訳（メタデータ） (2022-10-27T17:52:58Z) - Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。
p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。
古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文 参考訳（メタデータ） (2021-10-28T17:11:38Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Function Approximation via Sparse Random Features [23.325877475827337]
本稿では,圧縮センシングの手法を用いて無作為特徴モデルを学習する分散ランダム特徴量法を提案する。
分散ランダム特徴法は,十分に構造化された機能や科学的機械学習タスクへの応用において,浅層ネットワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-03-04T17:53:54Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。