論文の概要: Generation of data on discontinuous manifolds via continuous stochastic non-invertible networks

• arxiv url: http://arxiv.org/abs/2112.09646v1
• Date: Fri, 17 Dec 2021 17:39:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 16:48:08.428035
• Title: Generation of data on discontinuous manifolds via continuous stochastic non-invertible networks
• Title（参考訳）: 連続確率的非可逆ネットワークによる不連続多様体のデータ生成
• Authors: Mariia Drozdova, Vitaliy Kinakh, Guillaume Qu\'etant, Tobias Golling, Slava Voloshynovskiy
• Abstract要約: 連続ネットワークを用いて不連続分布を生成する方法を示す。 コスト関数と情報理論の定式化の関係を導出する。 提案手法を合成2次元分布に適用し,不連続分布の再構成と生成の両立を実証する。
• 参考スコア（独自算出の注目度）: 6.201770337181472
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generation of discontinuous distributions is a difficult task for most known frameworks such as generative autoencoders and generative adversarial networks. Generative non-invertible models are unable to accurately generate such distributions, require long training and often are subject to mode collapse. Variational autoencoders (VAEs), which are based on the idea of keeping the latent space to be Gaussian for the sake of a simple sampling, allow an accurate reconstruction, while they experience significant limitations at generation task. In this work, instead of trying to keep the latent space to be Gaussian, we use a pre-trained contrastive encoder to obtain a clustered latent space. Then, for each cluster, representing a unimodal submanifold, we train a dedicated low complexity network to generate this submanifold from the Gaussian distribution. The proposed framework is based on the information-theoretic formulation of mutual information maximization between the input data and latent space representation. We derive a link between the cost functions and the information-theoretic formulation. We apply our approach to synthetic 2D distributions to demonstrate both reconstruction and generation of discontinuous distributions using continuous stochastic networks.
• Abstract（参考訳）: 不連続分布の生成は、生成的自己エンコーダや生成的敵ネットワークのような最も知られたフレームワークにとって難しい課題である。 生成的非可逆モデルはそのような分布を正確に生成できず、長い訓練を必要とし、しばしばモード崩壊する。 変分オートエンコーダ(VAE)は、単純なサンプリングのために潜伏空間をガウス空間として維持するというアイデアに基づいており、生成タスクにおいて重大な制限を経験しながら、正確な再構築を可能にする。 この研究では、潜在空間をガウス空間とする代わりに、事前学習されたコントラストエンコーダを用いてクラスタ化された潜在空間を得る。 次に、一様部分多様体を表す各クラスタに対して、ガウス分布からこの部分多様体を生成するために専用の低複雑性ネットワークを訓練する。 提案手法は,入力データと潜在空間表現との間の相互情報の最大化に関する情報理論の定式化に基づく。 コスト関数と情報理論的定式化との関係を導出する。 本手法を合成2次元分布に適用し,連続確率ネットワークを用いた不連続分布の再構成と生成の両方を実証する。

関連論文リスト

• Bellman Diffusion: Generative Modeling as Learning a Linear Operator in the Distribution Space [72.52365911990935]
  本稿では,MDPの線形性を維持する新しいDGMフレームワークであるBellman Diffusionを紹介する。 この結果から,ベルマン拡散は分布RLタスクにおける従来のヒストグラムベースベースラインよりも1.5倍高速に収束し,精度の高い画像生成装置であることがわかった。
  論文  参考訳（メタデータ） (2024-10-02T17:53:23Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  我々は,要求に応じて所望の分布に基づいて制約付き拡散モデルを開発する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• DisCo-Diff: Enhancing Continuous Diffusion Models with Discrete Latents [41.86208391836456]
  本研究では,複雑なデータ分布を単一連続ガウス分布に符号化するDisCo-Diffを提案する。 DisCo-Diffはトレーニング済みのネットワークに依存しておらず、フレームワークを普遍的に適用することができる。 玩具データ, 画像合成タスク, 分子ドッキングに関するDisCo-Diffの検証を行い, 離散潜水剤の導入によりモデル性能が一貫した改善が得られた。
  論文  参考訳（メタデータ） (2024-07-03T17:42:46Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Fully Embedded Time-Series Generative Adversarial Networks [0.0]
  GAN(Generative Adversarial Networks)は、モデル化されているデータの基盤となる分布に適合する合成データを生成する。 実値の時系列データの場合、これはデータの静的な分布を同時にキャプチャする必要があるだけでなく、潜在的な時間的地平線に対するデータの完全な時間的分布も同時に取得する必要があることを意味する。 FETSGANでは、全シーケンスはSeq2seqスタイルの逆自動エンコーダ(AAE)を使用して、ジェネレータのサンプリング空間に直接変換される。
  論文  参考訳（メタデータ） (2023-08-30T03:14:02Z)
• Improving Out-of-Distribution Robustness of Classifiers via Generative Interpolation [56.620403243640396]
  ディープニューラルネットワークは、独立かつ同一に分散されたデータ(すなわち、d)から学習する上で、優れたパフォーマンスを達成する。 しかし、アウト・オブ・ディストリビューション(OoD)データを扱う場合、その性能は著しく低下する。 多様なOoDサンプルを合成するために,複数のドメインから学習した生成モデルを融合するための生成補間法(Generative Interpolation)を開発した。
  論文  参考訳（メタデータ） (2023-07-23T03:53:53Z)
• Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
  生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。 本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
  論文  参考訳（メタデータ） (2023-07-17T07:12:29Z)
• From Points to Functions: Infinite-dimensional Representations in Diffusion Models [23.916417852496608]
  拡散に基づく生成モデルは、非構造的雑音を複雑な対象分布に反復的に伝達することを学ぶ。 異なる時間ステップからの情報コンテンツを組み合わせることで、下流のタスクをより正確に表現できることが示される。
  論文  参考訳（メタデータ） (2022-10-25T05:30:53Z)
• Generative Model without Prior Distribution Matching [26.91643368299913]
  変分オートエンコーダ(VAE)とその変分は、いくつかの先行分布を満たすために低次元の潜在表現を学習することによって古典的な生成モデルである。 我々は、先行変数に適合させるのではなく、先行変数が埋め込み分布と一致するように提案する。
  論文  参考訳（メタデータ） (2020-09-23T09:33:24Z)
• Learning disconnected manifolds: a no GANs land [15.4867805276559]
  Generative AdversarialNetworksは、連続ジェネレータによって変換された非モードラテント分布を利用する。 対象分布の精度の上限を述べた非連結多様体学習に対する自由弁当定理を定めている。 生成元ヤコビアンのノルムに基づく拒絶サンプリング法を導出し,その効率をBigGANを含む複数のジェネレータで示す。
  論文  参考訳（メタデータ） (2020-06-08T13:45:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。