論文の概要: Constructive Universal High-Dimensional Distribution Generation through Deep ReLU Networks

• arxiv url: http://arxiv.org/abs/2006.16664v2
• Date: Sat, 5 Jun 2021 20:23:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:43:43.995043
• Title: Constructive Universal High-Dimensional Distribution Generation through Deep ReLU Networks
• Title（参考訳）: 深部ReLUネットワークによる構成的普遍的高次元分布生成
• Authors: Dmytro Perekrestenko, Stephan M\"uller, Helmut B\"olcskei
• Abstract要約: 本稿では,一様分布の1次元雑音を任意の2次元リプシッツ連続目標分布の任意の近接近似に変換する明示的なディープニューラルネットワーク構成を提案する。 我々は、ニューラルネットワーク構築において、ターゲット分布とネットワークによって実現された近似とのワッサーシュタイン距離をゼロにする際の深さの重要性を提起する。
• 参考スコア（独自算出の注目度）: 3.4591414173342647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an explicit deep neural network construction that transforms uniformly distributed one-dimensional noise into an arbitrarily close approximation of any two-dimensional Lipschitz-continuous target distribution. The key ingredient of our design is a generalization of the "space-filling" property of sawtooth functions discovered in (Bailey & Telgarsky, 2018). We elicit the importance of depth - in our neural network construction - in driving the Wasserstein distance between the target distribution and the approximation realized by the network to zero. An extension to output distributions of arbitrary dimension is outlined. Finally, we show that the proposed construction does not incur a cost - in terms of error measured in Wasserstein-distance - relative to generating $d$-dimensional target distributions from $d$ independent random variables.
• Abstract（参考訳）: 本稿では,一様分布の1次元雑音を任意の2次元リプシッツ連続目標分布の任意近似に変換する,明示的なディープニューラルネットワーク構成を提案する。 我々の設計の重要な要素は、(bailey & telgarsky, 2018) で発見されたsawtooth関数の「空間充填」特性の一般化である。 我々は、ニューラルネットワーク構築において、ターゲット分布とネットワークによって実現された近似とのワッサーシュタイン距離をゼロにする際の深さの重要性を提起する。 任意の次元の出力分布の拡張を概説する。 最後に,提案手法は,$d$独立確率変数から$d$次元の目標分布を生成するのに対して,wasserstein- distanceで測定した誤差の観点からもコストを伴わないことを示す。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Quantitative CLTs in Deep Neural Networks [12.845031126178593]
  ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。 我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。 我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
  論文  参考訳（メタデータ） (2023-07-12T11:35:37Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks [1.0878040851638]
  隠れ層と出力層のサイズがネットワークのガウス的振る舞いにどのように影響するかを示す。 我々の明示的な不等式は、隠蔽層と出力層がネットワークのガウス的振る舞いにどのように影響するかを示している。
  論文  参考訳（メタデータ） (2022-03-14T14:20:19Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• High-Dimensional Distribution Generation Through Deep Neural Networks [2.141079906482723]
  有界サポートのすべての$d$次元確率分布は、ディープReLUネットワークを介して生成可能であることを示す。 ヒストグラム対象分布の場合,対応する生成ネットワークを符号化するために必要なビット数は,確率分布を符号化するための基本的限界と等しいことがわかった。
  論文  参考訳（メタデータ） (2021-07-26T20:35:52Z)
• Point Cloud Upsampling via Disentangled Refinement [86.3641957163818]
  3Dスキャンによって生成された点雲は、しばしばスパース、非均一、ノイズである。 近年のアップサンプリング手法は, 分布均一性と近接場を両立させながら, 密度の高い点集合を生成することを目的としている。 2つのカスケードサブネットワーク、高密度ジェネレータ、空間精錬器を定式化する。
  論文  参考訳（メタデータ） (2021-06-09T02:58:42Z)
• Distributional Sliced Embedding Discrepancy for Incomparable Distributions [22.615156512223766]
  Gromov-Wasserstein (GW) 距離は多様体学習とクロスドメイン学習の鍵となるツールである。 本稿では,分散スライシング,埋め込み,スライスされた分布間の閉形式ワッサーシュタイン距離の計算という2つの計算分布を比較する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-04T15:11:30Z)
• On the capacity of deep generative networks for approximating distributions [8.798333793391544]
  ニューラルネットワークが一次元音源分布をワッサーシュタイン距離の高次元目標分布に任意に近い分布に変換することを証明した。 近似誤差は周囲次元で最も直線的に増加することが示されている。 $f$-divergences は、サンプルを生成するための分布の指標として、Waserstein 距離よりも適切ではない。
  論文  参考訳（メタデータ） (2021-01-29T01:45:02Z)
• From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
  ディープネットワークを等価な(不確定な)カーネルマシンに変換します。 次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。 最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
  論文  参考訳（メタデータ） (2020-07-15T03:21:35Z)
• Variational Hyper-Encoding Networks [62.74164588885455]
  ニューラルネットワークパラメータの分布を符号化するHyperVAEというフレームワークを提案する。 遅延符号の後部分布を予測し,行列ネットワークデコーダを用いて後部分布q(theta)を生成する。
  論文  参考訳（メタデータ） (2020-05-18T06:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。