論文の概要: On the capacity of deep generative networks for approximating distributions

• arxiv url: http://arxiv.org/abs/2101.12353v1
• Date: Fri, 29 Jan 2021 01:45:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 12:42:02.055004
• Title: On the capacity of deep generative networks for approximating distributions
• Title（参考訳）: 分布近似のための深層生成ネットワークの容量について
• Authors: Yunfei Yang, Zhen Li, Yang Wang
• Abstract要約: ニューラルネットワークが一次元音源分布をワッサーシュタイン距離の高次元目標分布に任意に近い分布に変換することを証明した。 近似誤差は周囲次元で最も直線的に増加することが示されている。 $f$-divergences は、サンプルを生成するための分布の指標として、Waserstein 距離よりも適切ではない。
• 参考スコア（独自算出の注目度）: 8.798333793391544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the efficacy and efficiency of deep generative networks for approximating probability distributions. We prove that neural networks can transform a one-dimensional source distribution to a distribution that is arbitrarily close to a high-dimensional target distribution in Wasserstein distances. Upper bounds of the approximation error are obtained in terms of neural networks' width and depth. It is shown that the approximation error grows at most linearly on the ambient dimension and that the approximation order only depends on the intrinsic dimension of the target distribution. On the contrary, when $f$-divergences are used as metrics of distributions, the approximation property is different. We prove that in order to approximate the target distribution in $f$-divergences, the dimension of the source distribution cannot be smaller than the intrinsic dimension of the target distribution. Therefore, $f$-divergences are less adequate than Waserstein distances as metrics of distributions for generating samples.
• Abstract（参考訳）: 確率分布を近似する深層生成ネットワークの有効性と効率について検討した。 ニューラルネットワークは、Wasserstein距離における高次元ターゲット分布に任意に近い分布に一次元ソース分布を変換できることを証明している。 近似誤差の上限は、ニューラルネットワークの幅と深さの点で得られる。 近似誤差は、最も線形に周囲の次元に成長し、近似順序は、ターゲット分布の本質的な次元にのみ依存することを示した。 逆に、$f$-divergences が分布の指標として使われる場合、近似特性は異なる。 我々は,目標分布を$f$-divergencesで近似するために,ソース分布の次元が対象分布の内在次元よりも小さくならないことを証明した。 したがって、$f$-divergences はサンプルを生成するための分布の指標としてwaserstein距離よりも不十分である。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
  本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。 提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
  論文  参考訳（メタデータ） (2024-02-13T09:40:19Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Learning Distributions by Generative Adversarial Networks: Approximation and Generalization [0.6768558752130311]
  本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。 我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。 生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
  論文  参考訳（メタデータ） (2022-05-25T09:26:17Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• High-Dimensional Distribution Generation Through Deep Neural Networks [2.141079906482723]
  有界サポートのすべての$d$次元確率分布は、ディープReLUネットワークを介して生成可能であることを示す。 ヒストグラム対象分布の場合,対応する生成ネットワークを符号化するために必要なビット数は,確率分布を符号化するための基本的限界と等しいことがわかった。
  論文  参考訳（メタデータ） (2021-07-26T20:35:52Z)
• An error analysis of generative adversarial networks for learning distributions [11.842861158282265]
  GAN(Generative Adversarial Network)は、有限サンプルから確率分布を学習する。 GANは、低次元構造を持つデータ分布を適応的に学習したり、H"古い密度を持つことができる。 本分析は,推定誤差をジェネレータと判別器の近似誤差と統計的誤差に分解する新しいオラクル不等式に基づく。
  論文  参考訳（メタデータ） (2021-05-27T08:55:19Z)
• Linear Optimal Transport Embedding: Provable Wasserstein classification for certain rigid transformations and perturbations [79.23797234241471]
  分布の区別は多くの科学分野において重要な問題である。 線形最適輸送(LOT)は分布の空間を$L2$-スペースに埋め込む。 複数の分布分類問題に対するLOTの利点を実証する。
  論文  参考訳（メタデータ） (2020-08-20T19:09:33Z)
• Constructive Universal High-Dimensional Distribution Generation through Deep ReLU Networks [3.4591414173342647]
  本稿では,一様分布の1次元雑音を任意の2次元リプシッツ連続目標分布の任意の近接近似に変換する明示的なディープニューラルネットワーク構成を提案する。 我々は、ニューラルネットワーク構築において、ターゲット分布とネットワークによって実現された近似とのワッサーシュタイン距離をゼロにする際の深さの重要性を提起する。
  論文  参考訳（メタデータ） (2020-06-30T10:36:15Z)
• Fast Predictive Uncertainty for Classification with Bayesian Deep Networks [25.821401066200504]
  ベイズディープラーニングでは、分類ニューラルネットワークの出力上の分布は、まずウェイト上のガウス分布を構築し、そこからサンプリングしてソフトマックス出力上の分布を受信することで近似される。 我々は、このソフトマックス出力分布のディリクレ近似を構築し、ロジット空間におけるガウス分布と出力空間におけるディリクレ分布の間の解析写像を生成する。 得られたディリクレ分布は、特に不確実性の推定と、ImageNetやDenseNetのような大規模なデータセットやネットワークへのスケーリングにおいて、複数の利点があることを実証する。
  論文  参考訳（メタデータ） (2020-03-02T22:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。