論文の概要: Variational Diffusion Auto-encoder: Deep Latent Variable Model with
Unconditional Diffusion Prior
- arxiv url: http://arxiv.org/abs/2304.12141v1
- Date: Mon, 24 Apr 2023 14:44:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 14:45:11.488919
- Title: Variational Diffusion Auto-encoder: Deep Latent Variable Model with
Unconditional Diffusion Prior
- Title（参考訳）: 変分拡散オートエンコーダ:非条件拡散前の深部潜時変動モデル
- Authors: Georgios Batzolis, Jan Stanczuk, Carola-Bibiane Sch\"onlieb
- Abstract要約: 本稿では,拡散モデルを導入して条件付きデータ分布を$p(textbfx | textbfz)$でモデル化する手法を提案する。
p(textbfx | textbfz)$、あるいはデコーダネットワークをトレーニングすることなく、VAEのような深い潜伏変数モデルを作成することができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Variational auto-encoders (VAEs) are one of the most popular approaches to
deep generative modeling. Despite their success, images generated by VAEs are
known to suffer from blurriness, due to a highly unrealistic modeling
assumption that the conditional data distribution $ p(\textbf{x} | \textbf{z})$
can be approximated as an isotropic Gaussian. In this work we introduce a
principled approach to modeling the conditional data distribution $p(\textbf{x}
| \textbf{z})$ by incorporating a diffusion model. We show that it is possible
to create a VAE-like deep latent variable model without making the Gaussian
assumption on $ p(\textbf{x} | \textbf{z}) $ or even training a decoder
network. A trained encoder and an unconditional diffusion model can be combined
via Bayes' rule for score functions to obtain an expressive model for $
p(\textbf{x} | \textbf{z}) $. Our approach avoids making strong assumptions on
the parametric form of $ p(\textbf{x} | \textbf{z}) $, and thus allows to
significantly improve the performance of VAEs.
- Abstract（参考訳）: 変分自動エンコーダ(VAE)は、深部生成モデリングにおける最も一般的なアプローチの一つである。
その成功にもかかわらず、vaesによって生成された画像は、条件付きデータ分布 $ p(\textbf{x} | \textbf{z})$ が等方ガウスとして近似できるという非常に非現実的なモデリングの仮定により、ぼやけに苦しむことが知られている。
本研究では、拡散モデルを組み込んだ条件付きデータ分布 $p(\textbf{x} | \textbf{z})$ をモデル化する原理的アプローチを導入する。
我々は、$ p(\textbf{x} | \textbf{z}) $ あるいはデコーダネットワークをトレーニングすることなく、VAEのような深い潜伏変数モデルを作成することができることを示す。
訓練されたエンコーダと無条件拡散モデルは、スコア関数に対するベイズの規則によって結合され、$ p(\textbf{x} | \textbf{z})$ の表現モデルが得られる。
我々のアプローチは、$ p(\textbf{x} | \textbf{z}) $ のパラメトリック形式に対する強い仮定を避けるため、VAE の性能を大幅に改善することができる。
関連論文リスト
- Continuous Speculative Decoding for Autoregressive Image Generation [33.05392461723613]
連続評価された自己回帰(AR)画像生成モデルは、離散的傾向よりも顕著な優位性を示している。
投機的復号化は大規模言語モデル(LLM)の加速に有効であることが証明された
この研究は離散トークンから連続空間への投機的復号アルゴリズムを一般化する。
論文 参考訳（メタデータ） (2024-11-18T09:19:15Z) - Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳（メタデータ） (2024-05-31T16:18:46Z) - Upgrading VAE Training With Unlimited Data Plans Provided by Diffusion
Models [12.542073306638988]
VAEにおけるオーバーフィッティングエンコーダは,事前学習した拡散モデルからのサンプルのトレーニングによって効果的に緩和できることを示す。
提案手法を用いて学習したVAEの一般化性能,償却ギャップ,ロバスト性を3つの異なるデータセットで解析した。
論文 参考訳（メタデータ） (2023-10-30T15:38:39Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳（メタデータ） (2023-07-17T07:12:29Z) - Dior-CVAE: Pre-trained Language Models and Diffusion Priors for
Variational Dialog Generation [70.2283756542824]
Dior-CVAEは階層型条件変分オートエンコーダ(CVAE)である。
拡散モデルを用いて、従来の分布の複雑さを増大させ、PLMが生成した分布との整合性を高める。
2つのオープンドメインダイアログデータセットを対象とした実験により,大規模ダイアログ事前学習を必要とせずに,より多様な応答を生成できることが判明した。
論文 参考訳（メタデータ） (2023-05-24T11:06:52Z) - Diffusion Models as Masked Autoencoders [52.442717717898056]
拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。
拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。
設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
論文 参考訳（メタデータ） (2023-04-06T17:59:56Z) - Fully Bayesian Autoencoders with Latent Sparse Gaussian Processes [23.682509357305406]
オートエンコーダとその変種は表現学習と生成モデリングにおいて最も広く使われているモデルの一つである。
ベイジアンオートエンコーダの潜在空間に完全スパースガウスプロセス先行を課す新しいスパースガウスプロセスベイジアンオートエンコーダモデルを提案する。
論文 参考訳（メタデータ） (2023-02-09T09:57:51Z) - Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。
VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。
提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
論文 参考訳（メタデータ） (2022-09-14T21:53:27Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳（メタデータ） (2022-06-17T21:11:36Z) - Exponentially Tilted Gaussian Prior for Variational Autoencoder [3.52359746858894]
近年の研究では, この課題に対して確率的生成モデルが不十分であることが示されている。
変分オートエンコーダ(VAE)の指数傾斜ガウス事前分布を提案する。
本モデルでは,標準ガウスVAEよりクオリティの高い画像サンプルが得られた。
論文 参考訳（メタデータ） (2021-11-30T18:28:19Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳（メタデータ） (2020-12-07T14:16:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。