論文の概要: Can Push-forward Generative Models Fit Multimodal Distributions?

• arxiv url: http://arxiv.org/abs/2206.14476v1
• Date: Wed, 29 Jun 2022 09:03:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 01:38:26.396158
• Title: Can Push-forward Generative Models Fit Multimodal Distributions?
• Title（参考訳）: プッシュフォワード生成モデルはマルチモーダル分布に適合するか?
• Authors: Antoine Salmona, Valentin de Bortoli, Julie Delon, Agn\`es Desolneux
• Abstract要約: 生成ネットワークのリプシッツ定数はマルチモーダル分布に適合するために大きくなければならないことを示す。 本研究では,1次元および画像のデータセットを用いて,各ステップで入力されたスタックネットワークからなる生成モデルがそのような制約を負わないことを実証的に検証した。
• 参考スコア（独自算出の注目度）: 3.8615905456206256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many generative models synthesize data by transforming a standard Gaussian random variable using a deterministic neural network. Among these models are the Variational Autoencoders and the Generative Adversarial Networks. In this work, we call them "push-forward" models and study their expressivity. We show that the Lipschitz constant of these generative networks has to be large in order to fit multimodal distributions. More precisely, we show that the total variation distance and the Kullback-Leibler divergence between the generated and the data distribution are bounded from below by a constant depending on the mode separation and the Lipschitz constant. Since constraining the Lipschitz constants of neural networks is a common way to stabilize generative models, there is a provable trade-off between the ability of push-forward models to approximate multimodal distributions and the stability of their training. We validate our findings on one-dimensional and image datasets and empirically show that generative models consisting of stacked networks with stochastic input at each step, such as diffusion models do not suffer of such limitations.
• Abstract（参考訳）: 多くの生成モデルは、決定論的ニューラルネットワークを用いて標準ガウス確率変数を変換してデータを合成する。 これらのモデルには変分オートエンコーダと生成逆ネットワークがある。 本研究では,これらを「プッシュフォワード」モデルと呼び,その表現性について検討する。 これらの生成ネットワークのリプシッツ定数はマルチモーダル分布に適合するために大きくなければならないことを示す。 より正確には、モード分離とリプシッツ定数に応じて、生成したデータとデータ分布との間の全変動距離とクルバック・リーブラーのばらつきが下から有界であることを示す。 ニューラルネットワークのリプシッツ定数の制約は生成モデルの安定化に共通の方法であるため、多様分布を近似するプッシュフォワードモデルの能力とトレーニングの安定性との間には、明らかなトレードオフがある。 本研究では,1次元および画像データセット上での知見を検証し,拡散モデルのような確率的入力を伴うスタックネットワークからなる生成モデルにそのような制限が与えられていないことを実証的に示す。

関連論文リスト

• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Discrete generative diffusion models without stochastic differential equations: a tensor network approach [1.5839621757142595]
  拡散モデル(DM)は、生成機械学習の手法のクラスである。 ネットワーク(TN)を用いて,このような離散モデルを効率的に定義し,サンプリングする方法を示す。」
  論文  参考訳（メタデータ） (2024-07-15T18:00:11Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Modelling nonlinear dependencies in the latent space of inverse scattering [1.5990720051907859]
  アングルとマラートによって提案された逆散乱では、ディープニューラルネットワークが画像に適用された散乱変換を反転するように訓練される。 このようなネットワークをトレーニングした後、散乱係数の主成分分布から標本化できることから、生成モデルとして利用することができる。 本稿では,2つのモデル,すなわち変分オートエンコーダと生成逆数ネットワークについて検討する。
  論文  参考訳（メタデータ） (2022-03-19T12:07:43Z)
• Sparse Communication via Mixed Distributions [29.170302047339174]
  我々は「混合確率変数」の理論基盤を構築する。 本フレームワークは,混合確率変数の表現とサンプリングのための2つの戦略を提案する。 我々は、創発的な通信ベンチマークにおいて、両方のアプローチを実験する。
  論文  参考訳（メタデータ） (2021-08-05T14:49:03Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。