論文の概要: A Universal Approximation Theorem of Deep Neural Networks for Expressing
Probability Distributions
- arxiv url: http://arxiv.org/abs/2004.08867v3
- Date: Mon, 16 Nov 2020 04:29:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-12 00:15:20.425807
- Title: A Universal Approximation Theorem of Deep Neural Networks for Expressing
Probability Distributions
- Title（参考訳）: 確率分布表現のためのディープニューラルネットワークの普遍近似理論
- Authors: Yulong Lu and Jianfeng Lu
- Abstract要約: ReLU 活性化を伴う深層ニューラルネットワーク $g:mathbbRdrightarrow mathbbR$ が存在することを示す。
ニューラルネットワークのサイズは、1ドルのワッサーシュタイン距離が相違点として使用される場合、$d$で指数関数的に成長することができる。
- 参考スコア（独自算出の注目度）: 12.100913944042972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the universal approximation property of deep neural
networks for representing probability distributions. Given a target
distribution $\pi$ and a source distribution $p_z$ both defined on
$\mathbb{R}^d$, we prove under some assumptions that there exists a deep neural
network $g:\mathbb{R}^d\rightarrow \mathbb{R}$ with ReLU activation such that
the push-forward measure $(\nabla g)_\# p_z$ of $p_z$ under the map $\nabla g$
is arbitrarily close to the target measure $\pi$. The closeness are measured by
three classes of integral probability metrics between probability
distributions: $1$-Wasserstein distance, maximum mean distance (MMD) and
kernelized Stein discrepancy (KSD). We prove upper bounds for the size (width
and depth) of the deep neural network in terms of the dimension $d$ and the
approximation error $\varepsilon$ with respect to the three discrepancies. In
particular, the size of neural network can grow exponentially in $d$ when
$1$-Wasserstein distance is used as the discrepancy, whereas for both MMD and
KSD the size of neural network only depends on $d$ at most polynomially. Our
proof relies on convergence estimates of empirical measures under
aforementioned discrepancies and semi-discrete optimal transport.
- Abstract（参考訳）: 本稿では,確率分布を表すディープニューラルネットワークの普遍近似特性について検討する。
ターゲット分布 $\pi$ とソース分布 $p_z$ がともに $\mathbb{R}^d$ で定義されることを条件として、深いニューラルネットワーク $g:\mathbb{R}^d\rightarrow \mathbb{R}$ と ReLU のアクティベーションが存在することを証明し、プッシュフォワード測度 $(\nabla g)_\# p_z$ of $p_z$ を写像 $\nabla g$ がターゲット測度 $\pi$ に任意に近づく。
近さは確率分布の間の積分確率メトリクスの3つのクラスによって測定される:$$$-wasserstein距離、maximum mean distance (mmd)、kernelized stein discrepancy (ksd)。
深部ニューラルネットワークのサイズ(幅と深さ)について,次元$d$と近似誤差$\varepsilon$の3つの相違点について,上界を証明した。
特に、ニューラルネットワークのサイズは、1ドルのwasserstein距離が不一致として使用される場合、$d$で指数関数的に増加するが、mmdとksdでは、ニューラルネットワークのサイズは、ほとんどの多項式で$d$にのみ依存する。
我々の証明は、上記の不一致と半離散的最適輸送の下での経験的測度の収束推定に依存する。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Relative-Translation Invariant Wasserstein Distance [82.6068808353647]
距離の新しい族、相対翻訳不変ワッサーシュタイン距離(RW_p$)を導入する。
我々は、$RW_p 距離もまた、分布変換に不変な商集合 $mathcalP_p(mathbbRn)/sim$ 上で定義される実距離測度であることを示す。
論文 参考訳（メタデータ） (2024-09-04T03:41:44Z) - A Theory of Interpretable Approximations [61.90216959710842]
我々は、ある基底クラス $mathcalH$ の概念の小さな集合によってターゲット概念 $c$ を近似するという考え方を研究する。
任意の$mathcalH$と$c$のペアに対して、これらのケースのちょうど1つが成り立つ: (i) $c$を任意の精度で$mathcalH$で近似することはできない。
解釈可能な近似の場合、近似の複雑さに関するわずかに非自明なa-priori保証でさえ、定数(分布自由かつ精度)の近似を意味することを示す。
論文 参考訳（メタデータ） (2024-06-15T06:43:45Z) - Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。
我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文 参考訳（メタデータ） (2024-05-26T17:08:04Z) - Sample Complexity of Neural Policy Mirror Descent for Policy
Optimization on Low-Dimensional Manifolds [75.51968172401394]
深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。
NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。
NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
論文 参考訳（メタデータ） (2023-09-25T07:31:22Z) - Quantitative CLTs in Deep Neural Networks [12.845031126178593]
ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。
我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。
我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
論文 参考訳（メタデータ） (2023-07-12T11:35:37Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Overparametrized linear dimensionality reductions: From projection
pursuit to two-layer neural networks [10.368585938419619]
$mathbbRd$に$n$のデータポイントのクラウドが与えられると、$mathbbRd$の$m$次元部分空間へのすべての射影を考える。
この確率分布の集まりは、$n,d$が大きくなるとどのように見えるか?
この極限の低次元射影として生じる $mathbbRm$ の確率分布の集合の α$ を $mathscrF_m で表すと、$mathscrF_ に新たな内界と外界を確立する。
論文 参考訳（メタデータ） (2022-06-14T00:07:33Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - Optimal Lottery Tickets via SubsetSum: Logarithmic Over-Parameterization
is Sufficient [9.309655246559094]
幅$d$と深さ$l$の任意のターゲットネットワークは、幅$O(log(dl))$の2倍、幅$O(log(dl))$のランダムネットワークを切断することで近似できることを示す。
解析は、プルーニングランダムなReLUネットワークをtextscSubset問題のランダムなインスタンスに接続することに依存する。
論文 参考訳（メタデータ） (2020-06-14T19:32:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。