論文の概要: LDC-VAE: A Latent Distribution Consistency Approach to Variational
AutoEncoders
- arxiv url: http://arxiv.org/abs/2109.10640v1
- Date: Wed, 22 Sep 2021 10:34:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-23 18:45:41.362203
- Title: LDC-VAE: A Latent Distribution Consistency Approach to Variational
AutoEncoders
- Title（参考訳）: LDC-VAE:変分オートエンコーダに対する遅延分布整合性アプローチ
- Authors: Xiaoyu Chen, Chen Gong, Qiang He, Xinwen Hou, and Yu Liu
- Abstract要約: 本稿では, 後部分布と前部分布の矛盾を回避するために, 潜時分布整合性アプローチを提案する。
我々の手法は、VAEの強力な改善よりも、同等またはさらに優れた性能を実現している。
- 参考スコア（独自算出の注目度）: 26.349085280990657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational autoencoders (VAEs), as an important aspect of generative models,
have received a lot of research interests and reached many successful
applications. However, it is always a challenge to achieve the consistency
between the learned latent distribution and the prior latent distribution when
optimizing the evidence lower bound (ELBO), and finally leads to an
unsatisfactory performance in data generation. In this paper, we propose a
latent distribution consistency approach to avoid such substantial
inconsistency between the posterior and prior latent distributions in ELBO
optimizing. We name our method as latent distribution consistency VAE
(LDC-VAE). We achieve this purpose by assuming the real posterior distribution
in latent space as a Gibbs form, and approximating it by using our encoder.
However, there is no analytical solution for such Gibbs posterior in
approximation, and traditional approximation ways are time consuming, such as
using the iterative sampling-based MCMC. To address this problem, we use the
Stein Variational Gradient Descent (SVGD) to approximate the Gibbs posterior.
Meanwhile, we use the SVGD to train a sampler net which can obtain efficient
samples from the Gibbs posterior. Comparative studies on the popular image
generation datasets show that our method has achieved comparable or even better
performance than several powerful improvements of VAEs.
- Abstract（参考訳）: 生成モデルの重要な側面である変分オートエンコーダ(vaes)は、多くの研究関心を集め、多くの成功した応用に到達した。
しかし、エビデンスローバウンド(ELBO)を最適化する場合、学習した潜時分布と先行潜時分布との整合性を達成することは常に困難であり、最終的にデータ生成において不満足なパフォーマンスをもたらす。
本稿では,ELBO最適化における後部分布と前部分布の矛盾を回避するために,潜時分布整合性アプローチを提案する。
本手法をLDC-VAE (Latent Distribution Consistency VAE) と呼ぶ。
この目的を達成するために、潜在空間の実際の後部分布をギブス形式として仮定し、エンコーダを用いて近似する。
しかし、そのようなギブズ後方近似には分析的な解はなく、伝統的な近似法は反復サンプリングに基づくMCMCのような時間を要する。
この問題に対処するために、Gibs後部を近似するためにStein Variational Gradient Descent (SVGD) を用いる。
一方、SVGDを用いてサンプルネットをトレーニングし、ギブス後方から効率的なサンプルを得ることができる。
一般的な画像生成データセットの比較研究により,VAEの強力な改良に比べて,我々の手法は同等あるいはそれ以上の性能を達成できたことが示された。
関連論文リスト
- Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。
シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。
実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-08-13T08:09:05Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳（メタデータ） (2023-07-17T07:12:29Z) - Plug-and-Play split Gibbs sampler: embedding deep generative priors in
Bayesian inference [12.91637880428221]
本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。
後方サンプリングの課題を2つの単純なサンプリング問題に分割する。
その性能は最近の最先端の最適化とサンプリング手法と比較される。
論文 参考訳（メタデータ） (2023-04-21T17:17:51Z) - Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。
提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文 参考訳（メタデータ） (2022-06-22T17:58:23Z) - Score-Guided Intermediate Layer Optimization: Fast Langevin Mixing for
Inverse Problem [97.64313409741614]
ランダム重み付きDNNジェネレータを反転させるため,Langevinアルゴリズムの定常分布を高速に混合し,特徴付ける。
本稿では,事前学習した生成モデルの潜時空間における後部サンプリングを提案する。
論文 参考訳（メタデータ） (2022-06-18T03:47:37Z) - Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。
変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。
本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
論文 参考訳（メタデータ） (2021-11-30T18:28:19Z) - Model Selection for Bayesian Autoencoders [25.619565817793422]
本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。
我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。
我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
論文 参考訳（メタデータ） (2021-06-11T08:55:00Z) - Reducing the Amortization Gap in Variational Autoencoders: A Bayesian
Random Function Approach [38.45568741734893]
GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。
提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
論文 参考訳（メタデータ） (2021-02-05T13:01:12Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳（メタデータ） (2020-11-26T19:39:10Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳（メタデータ） (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。