論文の概要: Learning Distributions by Generative Adversarial Networks: Approximation and Generalization

• arxiv url: http://arxiv.org/abs/2205.12601v1
• Date: Wed, 25 May 2022 09:26:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 13:29:29.942609
• Title: Learning Distributions by Generative Adversarial Networks: Approximation and Generalization
• Title（参考訳）: 生成的逆ネットワークによる学習分布:近似と一般化
• Authors: Yunfei Yang
• Abstract要約: 本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。 我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。 生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
• 参考スコア（独自算出の注目度）: 0.6768558752130311
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how well generative adversarial networks (GAN) learn probability distributions from finite samples by analyzing the convergence rates of these models. Our analysis is based on a new oracle inequality that decomposes the estimation error of GAN into the discriminator and generator approximation errors, generalization error and optimization error. To estimate the discriminator approximation error, we establish error bounds on approximating H\"older functions by ReLU neural networks, with explicit upper bounds on the Lipschitz constant of the network or norm constraint on the weights. For generator approximation error, we show that neural network can approximately transform a low-dimensional source distribution to a high-dimensional target distribution and bound such approximation error by the width and depth of neural network. Combining the approximation results with generalization bounds of neural networks from statistical learning theory, we establish the convergence rates of GANs in various settings, when the error is measured by a collection of integral probability metrics defined through H\"older classes, including the Wasserstein distance as a special case. In particular, for distributions concentrated around a low-dimensional set, we show that the convergence rates of GANs do not depend on the high ambient dimension, but on the lower intrinsic dimension.
• Abstract（参考訳）: これらのモデルの収束率を解析し, 生成逆ネットワーク(gan)が有限サンプルから確率分布を学習する方法について検討した。 本分析は,GANの推定誤差を判別器とジェネレータの近似誤差,一般化誤差,最適化誤差に分解する新しいオラクル不等式に基づく。 判別子近似誤差を推定するために,ネットワークのリプシッツ定数上の明示的な上界や重み付けのノルム制約を持つreluニューラルネットワークを用いて,h\"older関数を近似する誤差境界を確立する。 ジェネレータ近似誤差については、ニューラルネットワークが低次元のソース分布を大まかに高次元のターゲット分布に変換し、その近似誤差をニューラルネットワークの幅と深さでバインドできることを示す。 統計的学習理論によるニューラルネットワークの一般化境界と近似した結果を組み合わせることで,wasserstein距離を含むh\"olderクラスを通じて定義される積分的確率メトリックの集まりで誤差を測定した場合,様々な場面でganの収束率を定式化する。 特に、低次元集合を中心に集中した分布について、GANの収束速度は高い周囲次元ではなく低い内在次元に依存していることを示す。

関連論文リスト

• Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions [5.801621787540268]
  標準ガウス測度に対する相対密度の観点から確率分布の複雑性の概念を導入する。 パラメータが適切に有界なニューラルネットワークで対数相対密度を局所的に近似できるなら、経験的スコアマッチングによって生成された分布はターゲット分布を近似する。 本証明の重要な要素は,前処理に付随する真のスコア関数に対する次元自由深部ニューラルネットワーク近似率を導出することである。
  論文  参考訳（メタデータ） (2024-02-12T22:02:23Z)
• Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
  ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。 また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
  論文  参考訳（メタデータ） (2023-12-18T22:29:40Z)
• Error analysis of generative adversarial network [0.0]
  本稿では、識別器とジェネレータニューラルネットワークを含む関数のクラスに基づいて、GANモデルの誤差収束率について検討する。 タラグランドの不等式とボレル・カンテッリ補題を用いることで、GANの誤差に対する厳密な収束率を確立する。
  論文  参考訳（メタデータ） (2023-10-23T22:39:28Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
  線形ニューラルネットワークは、サブファンクションに分割することができる。 サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。 完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
  論文  参考訳（メタデータ） (2021-06-15T18:34:41Z)
• An error analysis of generative adversarial networks for learning distributions [11.842861158282265]
  GAN(Generative Adversarial Network)は、有限サンプルから確率分布を学習する。 GANは、低次元構造を持つデータ分布を適応的に学習したり、H"古い密度を持つことができる。 本分析は,推定誤差をジェネレータと判別器の近似誤差と統計的誤差に分解する新しいオラクル不等式に基づく。
  論文  参考訳（メタデータ） (2021-05-27T08:55:19Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。