論文の概要: High-Dimensional Distribution Generation Through Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2107.12466v1
• Date: Mon, 26 Jul 2021 20:35:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 14:36:30.498115
• Title: High-Dimensional Distribution Generation Through Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークによる高次元分布生成
• Authors: Dmytro Perekrestenko, L\'eandre Eberhard, Helmut B\"olcskei
• Abstract要約: 有界サポートのすべての$d$次元確率分布は、ディープReLUネットワークを介して生成可能であることを示す。 ヒストグラム対象分布の場合,対応する生成ネットワークを符号化するために必要なビット数は,確率分布を符号化するための基本的限界と等しいことがわかった。
• 参考スコア（独自算出の注目度）: 2.141079906482723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We show that every $d$-dimensional probability distribution of bounded support can be generated through deep ReLU networks out of a $1$-dimensional uniform input distribution. What is more, this is possible without incurring a cost - in terms of approximation error measured in Wasserstein-distance - relative to generating the $d$-dimensional target distribution from $d$ independent random variables. This is enabled by a vast generalization of the space-filling approach discovered in (Bailey & Telgarsky, 2018). The construction we propose elicits the importance of network depth in driving the Wasserstein distance between the target distribution and its neural network approximation to zero. Finally, we find that, for histogram target distributions, the number of bits needed to encode the corresponding generative network equals the fundamental limit for encoding probability distributions as dictated by quantization theory.
• Abstract（参考訳）: 我々は,1ドルの均一な入力分布から,有界サポートのすべての$d$次元確率分布を深いReLUネットワークを通じて生成可能であることを示す。 さらに、これはコストを伴わずに可能であり、wasserstein- distancerelativeで測定された近似誤差から、$d$独立確率変数から$d$次元のターゲット分布を生成する。 これは (Bailey & Telgarsky, 2018) で発見された宇宙充填アプローチの広範な一般化によって実現される。 提案手法は、ターゲット分布とニューラルネットワーク近似とのワッサーシュタイン距離を0に駆動する際のネットワーク深さの重要性を導出する。 最後に、ヒストグラムのターゲット分布について、対応する生成ネットワークを符号化するのに必要なビット数は、量子化理論によって決定される確率分布を符号化する基本的な限界と等しいことが分かる。

関連論文リスト

• Quantitative CLTs in Deep Neural Networks [12.845031126178593]
  ランダムなガウス重みとバイアスを持つ完全連結ニューラルネットワークの分布について検討する。 我々は、大まかではあるが有限の$n$および任意の固定されたネットワーク深さで有効な正規近似の量的境界を得る。 我々の境界は、それまでの文献で利用できたものよりも、ネットワーク幅に依存しているという点で厳格に強い。
  論文  参考訳（メタデータ） (2023-07-12T11:35:37Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Learning Distributions by Generative Adversarial Networks: Approximation and Generalization [0.6768558752130311]
  本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。 我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。 生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-25T09:26:17Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• On some theoretical limitations of Generative Adversarial Networks [77.34726150561087]
  GANが任意の確率分布を生成できるという一般的な仮定である。 GANが重み付き分布を生成できないことを示すExtreme Value Theoryに基づく新しい結果を提供する。
  論文  参考訳（メタデータ） (2021-10-21T06:10:38Z)
• On the capacity of deep generative networks for approximating distributions [8.798333793391544]
  ニューラルネットワークが一次元音源分布をワッサーシュタイン距離の高次元目標分布に任意に近い分布に変換することを証明した。 近似誤差は周囲次元で最も直線的に増加することが示されている。 $f$-divergences は、サンプルを生成するための分布の指標として、Waserstein 距離よりも適切ではない。
  論文  参考訳（メタデータ） (2021-01-29T01:45:02Z)
• Constructive Universal High-Dimensional Distribution Generation through Deep ReLU Networks [3.4591414173342647]
  本稿では,一様分布の1次元雑音を任意の2次元リプシッツ連続目標分布の任意の近接近似に変換する明示的なディープニューラルネットワーク構成を提案する。 我々は、ニューラルネットワーク構築において、ターゲット分布とネットワークによって実現された近似とのワッサーシュタイン距離をゼロにする際の深さの重要性を提起する。
  論文  参考訳（メタデータ） (2020-06-30T10:36:15Z)
• Variational Hyper-Encoding Networks [62.74164588885455]
  ニューラルネットワークパラメータの分布を符号化するHyperVAEというフレームワークを提案する。 遅延符号の後部分布を予測し,行列ネットワークデコーダを用いて後部分布q(theta)を生成する。
  論文  参考訳（メタデータ） (2020-05-18T06:46:09Z)
• A Universal Approximation Theorem of Deep Neural Networks for Expressing Probability Distributions [12.100913944042972]
  ReLU 活性化を伴う深層ニューラルネットワーク $g:mathbbRdrightarrow mathbbR$ が存在することを示す。 ニューラルネットワークのサイズは、1ドルのワッサーシュタイン距離が相違点として使用される場合、$d$で指数関数的に成長することができる。
  論文  参考訳（メタデータ） (2020-04-19T14:45:47Z)
• Proving the Lottery Ticket Hypothesis: Pruning is All You Need [56.25432563818297]
  抽選券仮説では、ランダムなdネットワークには、独立した訓練を受けた場合、元のネットワークの性能と競合する小さなサブネットワークが含まれている。 我々は、全ての有界分布と、有界重みを持つ全ての対象ネットワークに対して、ランダム重みを持つ十分に過度にパラメータ化されたニューラルネットワークは、目標ネットワークとほぼ同じ精度のサブネットワークを、それ以上のトレーニングなしに含んでいることを証明し、さらに強い仮説を証明した。
  論文  参考訳（メタデータ） (2020-02-03T07:23:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。