論文の概要: DiffEnc: Variational Diffusion with a Learned Encoder
- arxiv url: http://arxiv.org/abs/2310.19789v2
- Date: Thu, 8 Feb 2024 12:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 18:59:30.588751
- Title: DiffEnc: Variational Diffusion with a Learned Encoder
- Title(参考訳): DiffEnc:学習エンコーダを用いた変分拡散
- Authors: Beatrix M. G. Nielsen, Anders Christensen, Andrea Dittadi, Ole Winther
- Abstract要約: 拡散過程にデータと深度に依存した平均関数を導入し,拡散損失を改良した。
提案するフレームワークであるDiffEncは,CIFAR-10の確率を統計的に有意に向上させる。
- 参考スコア(独自算出の注目度): 14.045374947755922
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models may be viewed as hierarchical variational autoencoders
(VAEs) with two improvements: parameter sharing for the conditional
distributions in the generative process and efficient computation of the loss
as independent terms over the hierarchy. We consider two changes to the
diffusion model that retain these advantages while adding flexibility to the
model. Firstly, we introduce a data- and depth-dependent mean function in the
diffusion process, which leads to a modified diffusion loss. Our proposed
framework, DiffEnc, achieves a statistically significant improvement in
likelihood on CIFAR-10. Secondly, we let the ratio of the noise variance of the
reverse encoder process and the generative process be a free weight parameter
rather than being fixed to 1. This leads to theoretical insights: For a finite
depth hierarchy, the evidence lower bound (ELBO) can be used as an objective
for a weighted diffusion loss approach and for optimizing the noise schedule
specifically for inference. For the infinite-depth hierarchy, on the other
hand, the weight parameter has to be 1 to have a well-defined ELBO.
- Abstract(参考訳): 拡散モデルは階層的変分オートエンコーダ(vaes)と見なすことができる: 生成過程における条件分布のパラメータ共有と階層上の独立項としての損失の効率的な計算である。
モデルに柔軟性を加えながらこれらの利点を維持する拡散モデルに対する2つの変更を検討する。
まず,拡散過程におけるデータと深さに依存した平均関数を導入することにより,拡散損失が変化する。
提案するフレームワークであるDiffEncは,CIFAR-10の確率を統計的に有意に向上させる。
次に、逆エンコーダ法と生成過程のノイズ分散の比を1に固定されるのではなく、自由ウェイトパラメータとする。
有限深度階層に対して、エビデンスローバウンド(ELBO)は、重み付け拡散損失アプローチの目的として、および推論に特化してノイズスケジュールを最適化するために使用することができる。
一方、無限深さ階層では、重みパラメータは 1 で十分定義された ELBO を持つ必要がある。
関連論文リスト
- EraseDiff: Erasing Data Influence in Diffusion Models [54.95692559939673]
拡散モデルのためのアンラーニングアルゴリズムを提案する。
提案アルゴリズムは, 広範に普及している拡散モデルから除去しながら, モデルの有用性, 有効性, 効率を保たせることを示す。
論文 参考訳(メタデータ) (2024-01-11T09:30:36Z) - Denoising Diffusion Variational Inference: Diffusion Models as
Expressive Variational Posteriors [12.380863420871071]
DDVIは、フレキシブルな変動後部として拡散モデルに依存する潜在変数モデルの近似推論アルゴリズムである。
DDVIは、ヒトゲノムから潜伏する祖先を推定する生物学のモチベーションタスクで使われており、数千のゲノムデータセットの強いベースラインを上回ります。
論文 参考訳(メタデータ) (2024-01-05T10:27:44Z) - Diffusion Models With Learned Adaptive Noise [13.688761754326356]
画像間で異なる速度でガウス雑音を適用する学習拡散過程を提案する。
MuLAN は CIFAR-10 と ImageNet の密度推定の最先端を新たに設定する。
論文 参考訳(メタデータ) (2023-12-20T18:00:16Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T11:19:11Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。
本稿では,階層型統合拡散モデル(HI-Diff)を提案する。
人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2023-05-22T12:18:20Z) - Structural Pruning for Diffusion Models [65.02607075556742]
Diff-Pruningは、既存のものから軽量拡散モデルの学習に適した効率的な圧縮手法である。
複数のデータセットにまたがって実施した経験的評価は,提案手法の2つの利点を浮き彫りにしている。
論文 参考訳(メタデータ) (2023-05-18T12:38:21Z) - Diffusion-GAN: Training GANs with Diffusion [135.24433011977874]
GAN(Generative Adversarial Network)は、安定してトレーニングすることが難しい。
フォワード拡散チェーンを利用してインスタンスノイズを生成する新しいGANフレームワークであるDiffusion-GANを提案する。
我々は,Diffusion-GANにより,最先端のGANよりも高い安定性とデータ効率で,よりリアルな画像を生成することができることを示す。
論文 参考訳(メタデータ) (2022-06-05T20:45:01Z) - Subspace Diffusion Generative Models [4.310834990284412]
スコアベースモデルは、高次元拡散過程を通じて、ノイズをデータにマッピングすることでサンプルを生成する。
データ分布がノイズに向かって進化するにつれて、射影による部分空間への拡散を制限する。
私たちのフレームワークは継続的拡散と完全に互換性があり、柔軟性を維持しています。
論文 参考訳(メタデータ) (2022-05-03T13:43:47Z) - A Variational Perspective on Diffusion-Based Generative Models and Score
Matching [8.93483643820767]
連続時間生成拡散の確率推定のための変分フレームワークを導出する。
本研究は,プラグイン逆SDEの可能性の低い境界を最大化することと,スコアマッチング損失の最小化が等価であることを示す。
論文 参考訳(メタデータ) (2021-06-05T05:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。