論文の概要: Minimax Optimality (Probably) Doesn't Imply Distribution Learning for GANs

• arxiv url: http://arxiv.org/abs/2201.07206v1
• Date: Tue, 18 Jan 2022 18:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-19 15:09:57.115036
• Title: Minimax Optimality (Probably) Doesn't Imply Distribution Learning for GANs
• Title（参考訳）: 最小限の最適性(おそらく)は、GANに対する分散学習を示唆しない
• Authors: Sitan Chen, Jerry Li, Yuanzhi Li, Raghu Meka
• Abstract要約: 標準的な暗号的仮定は、この強い条件がまだ不十分であることを示している。 我々の技術は、GANとPRGの深い関係を明らかにし、GANの計算環境に関するさらなる洞察をもたらすものと信じている。
• 参考スコア（独自算出の注目度）: 44.4200799586461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Arguably the most fundamental question in the theory of generative adversarial networks (GANs) is to understand to what extent GANs can actually learn the underlying distribution. Theoretical and empirical evidence suggests local optimality of the empirical training objective is insufficient. Yet, it does not rule out the possibility that achieving a true population minimax optimal solution might imply distribution learning. In this paper, we show that standard cryptographic assumptions imply that this stronger condition is still insufficient. Namely, we show that if local pseudorandom generators (PRGs) exist, then for a large family of natural continuous target distributions, there are ReLU network generators of constant depth and polynomial size which take Gaussian random seeds so that (i) the output is far in Wasserstein distance from the target distribution, but (ii) no polynomially large Lipschitz discriminator ReLU network can detect this. This implies that even achieving a population minimax optimal solution to the Wasserstein GAN objective is likely insufficient for distribution learning in the usual statistical sense. Our techniques reveal a deep connection between GANs and PRGs, which we believe will lead to further insights into the computational landscape of GANs.
• Abstract（参考訳）: 生成逆数ネットワーク(GAN)の理論における最も基本的な疑問は、GANが実際に基礎となる分布をどの程度学べるかを理解することである。 理論的および実証的証拠は、経験的訓練対象の局所的最適性が不十分であることを示唆している。 しかし、真の人口ミニマックス最適解を達成することが分布学習を意味する可能性は否定できない。 本稿では,この強い条件がまだ不十分であることを示す標準的な暗号仮定を示す。 すなわち、局所擬似乱数生成器(PRG)が存在する場合、自然の連続目標分布の大きな族に対して、ガウスランダムシードを取る定数深さと多項式サイズのReLUネットワーク生成器が存在することを示す。 (i) 出力は目標分布からwasserstein距離に遠く及んでいるが (ii)多項式的に大きなリプシッツ判別器reluネットワークは検出できない。 これは、ワッサーシュタイン GAN の目的に対して、人口最小の最適解さえも、通常の統計的意味での分布学習には不十分であることを意味する。 我々の技術は、GANとPRGの深い関係を明らかにし、GANの計算環境に関するさらなる洞察をもたらすものと信じている。

関連論文リスト

• Generative Conditional Distributions by Neural (Entropic) Optimal Transport [12.152228552335798]
  本稿では,条件分布の生成モデル学習を目的とした,ニューラルエントロピー最適輸送手法を提案する。 提案手法は,2つのニューラルネットワークのミニマックストレーニングに依存する。 実世界のデータセットを用いた実験では,現状条件分布学習法と比較して,アルゴリズムの有効性が示された。
  論文  参考訳（メタデータ） (2024-06-04T13:45:35Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• On some theoretical limitations of Generative Adversarial Networks [77.34726150561087]
  GANが任意の確率分布を生成できるという一般的な仮定である。 GANが重み付き分布を生成できないことを示すExtreme Value Theoryに基づく新しい結果を提供する。
  論文  参考訳（メタデータ） (2021-10-21T06:10:38Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• Forward Super-Resolution: How Can GANs Learn Hierarchical Generative Models for Real-World Distributions [66.05472746340142]
  生成ネットワーク(GAN)は、複雑で現実世界の分布を学習する上で最も成功したネットワークの一つである。 本稿では,GANが実写画像の分布を効率的に学習する方法について述べる。
  論文  参考訳（メタデータ） (2021-06-04T17:33:29Z)
• GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences [70.30467057209405]
  GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。 GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。 本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
  論文  参考訳（メタデータ） (2020-03-02T04:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。