論文の概要: Universal Approximation in Dropout Neural Networks
- arxiv url: http://arxiv.org/abs/2012.10351v1
- Date: Fri, 18 Dec 2020 16:53:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 21:41:38.087327
- Title: Universal Approximation in Dropout Neural Networks
- Title（参考訳）: ドロップアウトニューラルネットワークにおける普遍近似
- Authors: Oxana A. Manita, Mark A. Peletier, Jacobus W. Portegies, Jaron
Sanders, Albert Senen-Cerda
- Abstract要約: 我々は、ドロップアウトニューラルネットワークに対する2つの普遍近似定理を証明した。
第一に、各エッジ出力はランダムフィルタによって乗算され、結果としてランダム出力となる。
第2段階では、各エッジ出力はフィルタの期待値に乗じて決定論的出力となる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We prove two universal approximation theorems for a range of dropout neural
networks. These are feed-forward neural networks in which each edge is given a
random $\{0,1\}$-valued filter, that have two modes of operation: in the first
each edge output is multiplied by its random filter, resulting in a random
output, while in the second each edge output is multiplied by the expectation
of its filter, leading to a deterministic output. It is common to use the
random mode during training and the deterministic mode during testing and
prediction.
Both theorems are of the following form: Given a function to approximate and
a threshold $\varepsilon>0$, there exists a dropout network that is
$\varepsilon$-close in probability and in $L^q$. The first theorem applies to
dropout networks in the random mode. It assumes little on the activation
function, applies to a wide class of networks, and can even be applied to
approximation schemes other than neural networks. The core is an algebraic
property that shows that deterministic networks can be exactly matched in
expectation by random networks. The second theorem makes stronger assumptions
and gives a stronger result. Given a function to approximate, it provides
existence of a network that approximates in both modes simultaneously. Proof
components are a recursive replacement of edges by independent copies, and a
special first-layer replacement that couples the resulting larger network to
the input.
The functions to be approximated are assumed to be elements of general normed
spaces, and the approximations are measured in the corresponding norms. The
networks are constructed explicitly. Because of the different methods of proof,
the two results give independent insight into the approximation properties of
random dropout networks. With this, we establish that dropout neural networks
broadly satisfy a universal-approximation property.
- Abstract（参考訳）: 我々は、ドロップアウトニューラルネットワークに対する2つの普遍近似定理を証明した。
フィードフォワードニューラルネットワークは、各エッジにランダムな$\{0,1\}$-valued filterが与えられるが、これは2つの動作モードを持つ: 第一のエッジ出力はそのランダムなフィルタによって乗算され、第二のエッジ出力はそのフィルタの期待によって乗算され、決定論的出力をもたらす。
トレーニング中はランダムモード、テストと予測中は決定論的モードを用いるのが一般的である。
二つの定理は以下の形式である: 近似関数としきい値$\varepsilon>0$が与えられたとき、確率が$\varepsilon$-closeで$L^q$のドロップアウトネットワークが存在する。
最初の定理はランダムモードのドロップアウトネットワークに適用される。
活性化関数にはほとんど依存せず、幅広い種類のネットワークに適用でき、ニューラルネットワーク以外の近似スキームにも適用できる。
コアは代数的特性であり、決定論的ネットワークはランダムネットワークによって正確に一致できることを示す。
第二の定理はより強く仮定し、より強い結果を与える。
近似関数が与えられた場合、両方のモードを同時に近似するネットワークが存在する。
証明コンポーネントはエッジを独立したコピーで再帰的に置き換えるものであり、入力により大きなネットワークを結合する特別な第1層置換である。
近似される函数は一般ノルム空間の元であると仮定され、近似は対応するノルムで測定される。
ネットワークは明示的に構築されます。
証明方法が異なるため、2つの結果はランダムなドロップアウトネットワークの近似特性について独立した洞察を与える。
これにより、ドロップアウトニューラルネットワークは普遍近似特性を広く満たすことができる。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Multi-layer random features and the approximation power of neural networks [4.178980693837599]
再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。
NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
論文 参考訳（メタデータ） (2024-04-26T14:57:56Z) - Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。
本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
論文 参考訳（メタデータ） (2024-03-25T19:39:17Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Finding Everything within Random Binary Networks [11.689913953698081]
ランダムネットワークを任意の精度で近似することは、二進数$pm1$重みのランダムネットワークを単純に作ることによって証明できる。
任意の対象ネットワークを任意の精度で近似できることを示すために、目的ネットワークよりも広く、より深い多対数係数である二進数$pm1$重みのランダムなネットワークを作ればよい。
論文 参考訳（メタデータ） (2021-10-18T03:19:25Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - How Powerful are Shallow Neural Networks with Bandlimited Random
Weights? [25.102870584507244]
制限深度2バンドランダムニューラルネットワークの表現力について検討する。
ランダムネットは、隠れた層パラメータがランダムな帯域幅で凍結されるニューラルネットワークである。
論文 参考訳（メタデータ） (2020-08-19T13:26:12Z) - Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。
さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
論文 参考訳（メタデータ） (2020-07-30T23:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。