論文の概要: Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions

• arxiv url: http://arxiv.org/abs/2107.05680v1
• Date: Mon, 12 Jul 2021 18:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-15 03:50:07.973931
• Title: Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions
• Title（参考訳）: Wasserstein GANsの隠れ凸性:閉じた解を持つ解釈可能な生成モデル
• Authors: Arda Sahiner, Tolga Ergen, Batu Ozturkler, Burak Bartan, John Pauly, Morteza Mardani, Mert Pilanci
• Abstract要約: 凸双対レンズを用いた2層ニューラルネットワーク判別器によるワッサースタインGANの影響を解析した。 さらに、識別器の異なる活性化機能のパワーを実証する。
• 参考スコア（独自算出の注目度）: 31.952858521063277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Adversarial Networks (GANs) are commonly used for modeling complex distributions of data. Both the generators and discriminators of GANs are often modeled by neural networks, posing a non-transparent optimization problem which is non-convex and non-concave over the generator and discriminator, respectively. Such networks are often heuristically optimized with gradient descent-ascent (GDA), but it is unclear whether the optimization problem contains any saddle points, or whether heuristic methods can find them in practice. In this work, we analyze the training of Wasserstein GANs with two-layer neural network discriminators through the lens of convex duality, and for a variety of generators expose the conditions under which Wasserstein GANs can be solved exactly with convex optimization approaches, or can be represented as convex-concave games. Using this convex duality interpretation, we further demonstrate the impact of different activation functions of the discriminator. Our observations are verified with numerical results demonstrating the power of the convex interpretation, with applications in progressive training of convex architectures corresponding to linear generators and quadratic-activation discriminators for CelebA image generation. The code for our experiments is available at https://github.com/ardasahiner/ProCoGAN.
• Abstract（参考訳）: generative adversarial network (gans) はデータの複雑な分布をモデル化するのによく用いられる。 GANのジェネレータと判別器は、しばしばニューラルネットワークによってモデル化され、ジェネレータと判別器にそれぞれ非凸と非凹の非透明最適化問題を引き起こす。 このようなネットワークはしばしば勾配降下度(GDA)でヒューリスティックに最適化されるが、最適化問題がサドル点を含むかどうか、あるいはヒューリスティック手法が実際にそれらを見つけることができるかどうかは不明である。 本研究では,2層ニューラルネットワーク識別器を用いたwasserstein ganのトレーニングを凸双対性レンズを通して解析し,様々な生成器に対して,wasserstein gansが凸最適化アプローチによって正確に解くことができる条件を提示するか,凸凸ゲームとして表現することができる。 この凸双対性解釈を用いて、識別器の異なる活性化関数の影響をさらに実証する。 本研究は,線形発生器に対応する凸アーキテクチャの漸進的トレーニングとceleba画像生成のための二次活性化判別器への応用により,凸解釈のパワーを示す数値計算結果を用いて検証した。 実験のコードはhttps://github.com/ardasahiner/ProCoGAN.comで公開されている。

関連論文リスト

• Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
  拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。 最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。 RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Diffusion models for Gaussian distributions: Exact solutions and Wasserstein errors [0.0]
  拡散モデルやスコアベースモデルでは画像生成の性能が向上した。 本研究では,データ分布がガウス的である場合の拡散モデルの挙動とその数値的実装について理論的に検討する。
  論文  参考訳（メタデータ） (2024-05-23T07:28:56Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Data Interpolants -- That's What Discriminators in Higher-order Gradient-regularized GANs Are [20.03447539784024]
  解析的に、最小二乗勾配 (LSGAN) とワッサーシュタイン (WGAN) GAN 変種を通して、判別器最適化問題は$n$次元の1つであることを示す。 変分計算を用いた最適判別器は、反復ラプラシアンあるいは多調和作用素を含む偏微分方程式の解であることが判明した。 本稿では,ポリWGAN判別器を用いて,エンコーダデコーダをベースとしたGANフレーバーを用いて,データの潜在空間分布をモデル化する。
  論文  参考訳（メタデータ） (2023-06-01T15:16:36Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Instability and Local Minima in GAN Training with Kernel Discriminators [20.362912591032636]
  GAN(Generative Adversarial Networks)は、複雑なデータの生成モデリングに広く使われているツールである。 実験的な成功にもかかわらず、ジェネレータと判別器のmin-max最適化のため、GANの訓練は十分には理解されていない。 本稿では、真のサンプルと生成されたサンプルが離散有限集合であり、判別器がカーネルベースである場合に、これらの関節力学を解析する。
  論文  参考訳（メタデータ） (2022-08-21T18:03:06Z)
• Inferential Wasserstein Generative Adversarial Networks [9.859829604054127]
  自動エンコーダとWGANを融合する原理的フレームワークである新しい推論ワッサースタインGAN(iWGAN)モデルを導入する。 iWGANはモード崩壊の症状を大幅に緩和し、収束を高速化し、各サンプルの品質チェックの測定を行うことができる。
  論文  参考訳（メタデータ） (2021-09-13T00:43:21Z)
• Discriminator Contrastive Divergence: Semi-Amortized Generative Modeling by Exploring Energy of the Discriminator [85.68825725223873]
  GAN(Generative Adversarial Networks)は、高次元データのモデリングにおいて大きな可能性を秘めている。 本稿では,WGANの識別器の特性を活かした識別器コントラストの多様性について紹介する。 我々は、合成データと実世界の画像生成ベンチマークの両方において、大幅に改善された生成の利点を実証する。
  論文  参考訳（メタデータ） (2020-04-05T01:50:16Z)
• Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling [106.68533003806276]
  本研究では,潜時空間におけるサンプリングは,潜時空間の前対数密度と判別器出力スコアの和によって誘導されるエネルギーベースモデルに従って,潜時空間におけるサンプリングを行うことによって達成できることを示す。 判別器駆動潜時サンプリング(DDLS)は,高次元画素空間で動作する従来の手法と比較して,高効率であることを示す。
  論文  参考訳（メタデータ） (2020-03-12T23:33:50Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。