論文の概要: On the Statistical Properties of Generative Adversarial Models for Low
Intrinsic Data Dimension
- arxiv url: http://arxiv.org/abs/2401.15801v1
- Date: Sun, 28 Jan 2024 23:18:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 16:25:27.499515
- Title: On the Statistical Properties of Generative Adversarial Models for Low
Intrinsic Data Dimension
- Title（参考訳）: 低内在データ次元における生成逆数モデルの統計的特性について
- Authors: Saptarshi Chakraborty and Peter L. Bartlett
- Abstract要約: 我々は、データと潜伏空間の内在次元の観点から、推定密度に関する統計的保証を導出する。
我々は,非滑らかな分布においても,GANが最小値の最適値を効果的に達成できることを実証した。
- 参考スコア（独自算出の注目度）: 38.964624328622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the remarkable empirical successes of Generative Adversarial Networks
(GANs), the theoretical guarantees for their statistical accuracy remain rather
pessimistic. In particular, the data distributions on which GANs are applied,
such as natural images, are often hypothesized to have an intrinsic
low-dimensional structure in a typically high-dimensional feature space, but
this is often not reflected in the derived rates in the state-of-the-art
analyses. In this paper, we attempt to bridge the gap between the theory and
practice of GANs and their bidirectional variant, Bi-directional GANs (BiGANs),
by deriving statistical guarantees on the estimated densities in terms of the
intrinsic dimension of the data and the latent space. We analytically show that
if one has access to $n$ samples from the unknown target distribution and the
network architectures are properly chosen, the expected Wasserstein-1 distance
of the estimates from the target scales as $O\left( n^{-1/d_\mu } \right)$ for
GANs and $O\left( n^{-1/(d_\mu+\ell)} \right)$ for BiGANs, where $d_\mu$ and
$\ell$ are the upper Wasserstein-1 dimension of the data-distribution and
latent-space dimension, respectively. The theoretical analyses not only suggest
that these methods successfully avoid the curse of dimensionality, in the sense
that the exponent of $n$ in the error rates does not depend on the data
dimension but also serve to bridge the gap between the theoretical analyses of
GANs and the known sharp rates from optimal transport literature. Additionally,
we demonstrate that GANs can effectively achieve the minimax optimal rate even
for non-smooth underlying distributions, with the use of larger generator
networks.
- Abstract（参考訳）: GAN(Generative Adversarial Networks)の顕著な成功にもかかわらず、それらの統計的精度の理論的保証は悲観的である。
特に、自然画像などのGANが適用されるデータ分布は、通常高次元の特徴空間において固有の低次元構造を持つと仮定されることが多いが、これは最先端解析における導出率に反映されないことが多い。
本稿では,データと潜伏空間の固有次元から推定された密度の統計的保証を導出することにより,GANの理論と実践のギャップと,その双方向なGAN(Bi-directional GANs)のギャップを埋めようとしている。
我々は、未知のターゲット分布から$n$のサンプルにアクセスでき、ネットワークアーキテクチャが適切に選択された場合、ターゲットスケールから推定される推定値のWasserstein-1距離が$O\left(n^{-1/d_\mu } \right)$ for GANsと$O\left(n^{-1/(d_\mu+\ell)} \right)$ for BiGANsでそれぞれ$d_\mu$と$\ell$は、データ分布とラテント空間の上部Wasserstein-1次元であることを示す。
この理論解析は, 誤差率$n$の指数がデータ次元に依存するのではなく, GANの理論的解析と最適輸送文献からの既知の急激な速度とのギャップを埋めるのに役立つという意味で, これらの手法が次元の呪いを避けることに成功していることを示唆している。
さらに,gansは,より大型のジェネレータネットワークを用いて,非スムース分布においても,最小最大速度を効果的に達成できることを実証する。
関連論文リスト
- $O(d/T)$ Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
我々は、最小限の仮定の下で、人気のあるSDEベースのサンプルラーに対して高速収束理論を確立する。
解析の結果, スコア関数の$ell_2$-accurate推定値が与えられた場合, 対象分布と生成分布の総変動距離は$O(d/T)$で上限値となることがわかった。
これは、逆プロセスの各ステップでエラーがどのように伝播するかの詳細な特徴を提供する、新しい分析ツールセットによって達成される。
論文 参考訳（メタデータ） (2024-09-27T17:59:10Z) - Adapting to Unknown Low-Dimensional Structures in Score-Based Diffusion Models [6.76974373198208]
周囲の次元が$d$である場合、各デノイングステップ内で発生する誤差の依存性は、一般的には避けられない。
これはDDPMサンプリング器がターゲット分布の未知の低次元構造に適応できるという最初の理論実証である。
論文 参考訳（メタデータ） (2024-05-23T17:59:10Z) - Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳（メタデータ） (2024-03-08T18:50:19Z) - Optimal 1-Wasserstein Distance for WGANs [2.1174215880331775]
有限標本とレジームの両方において、WGAN(Wasserstein GANs)を徹底的に解析する。
半離散状態における最適輸送理論の新たな結果を導出する。
論文 参考訳（メタデータ） (2022-01-08T13:04:03Z) - Non-Asymptotic Error Bounds for Bidirectional GANs [10.62911757343557]
ダドリー距離下での双方向GAN(BiGAN)推定誤差に対して,ほぼ鋭い境界を求める。
これは、双方向GAN学習アプローチに対する最初の理論的保証である。
論文 参考訳（メタデータ） (2021-10-24T00:12:03Z) - On Projection Robust Optimal Transport: Sample Complexity and Model
Misspecification [101.0377583883137]
射影ロバスト(PR)OTは、2つの測度の間のOTコストを最大化するために、射影可能な$k$次元部分空間を選択する。
私たちの最初の貢献は、PRワッサーシュタイン距離のいくつかの基本的な統計的性質を確立することである。
次に、部分空間を最適化するのではなく平均化することにより、PRW距離の代替として積分PRワッサーシュタイン距離(IPRW)を提案する。
論文 参考訳（メタデータ） (2020-06-22T14:35:33Z) - Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling
by Exploring Energy of the Discriminator [85.68825725223873]
GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。
本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。
我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
論文 参考訳（メタデータ） (2020-04-05T01:50:16Z) - GANs with Conditional Independence Graphs: On Subadditivity of
Probability Divergences [70.30467057209405]
GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。
GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。
本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
論文 参考訳（メタデータ） (2020-03-02T04:31:22Z) - Distribution Approximation and Statistical Estimation Guarantees of
Generative Adversarial Networks [82.61546580149427]
GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。
本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
論文 参考訳（メタデータ） (2020-02-10T16:47:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。