論文の概要: Neural Diffusion Models
- arxiv url: http://arxiv.org/abs/2310.08337v1
- Date: Thu, 12 Oct 2023 13:54:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 11:09:01.884530
- Title: Neural Diffusion Models
- Title（参考訳）: 神経拡散モデル
- Authors: Grigory Bartosh, Dmitry Vetrov, Christian A. Naesseth
- Abstract要約: 本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。
NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
- 参考スコア（独自算出の注目度）: 2.447795279790662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models have shown remarkable performance on many generative tasks.
Despite recent success, most diffusion models are restricted in that they only
allow linear transformation of the data distribution. In contrast, broader
family of transformations can potentially help train generative distributions
more efficiently, simplifying the reverse process and closing the gap between
the true negative log-likelihood and the variational approximation. In this
paper, we present Neural Diffusion Models (NDMs), a generalization of
conventional diffusion models that enables defining and learning time-dependent
non-linear transformations of data. We show how to optimise NDMs using a
variational bound in a simulation-free setting. Moreover, we derive a
time-continuous formulation of NDMs, which allows fast and reliable inference
using off-the-shelf numerical ODE and SDE solvers. Finally, we demonstrate the
utility of NDMs with learnable transformations through experiments on standard
image generation benchmarks, including CIFAR-10, downsampled versions of
ImageNet and CelebA-HQ. NDMs outperform conventional diffusion models in terms
of likelihood and produce high-quality samples.
- Abstract（参考訳）: 拡散モデルは多くの生成的タスクで顕著な性能を示している。
近年の成功にもかかわらず、ほとんどの拡散モデルはデータ分布の線形変換しか許さないという点で制限されている。
対照的に、より広範な変換の族は、生成分布の訓練をより効率的にし、逆過程を単純化し、真の負の対数類似度と変動近似の間のギャップを閉じる可能性がある。
本稿では,時間に依存しないデータの非線形変換の定義と学習を可能にする従来の拡散モデルの一般化であるニューラル拡散モデル(NDM)を提案する。
シミュレーション不要な環境で変動境界を用いてNDMを最適化する方法を示す。
さらに,NDMの時間連続的な定式化を導出し,既製の数値ODEとSDEソルバを用いた高速かつ信頼性の高い推論を可能にする。
最後に,CIFAR-10 などの標準画像生成ベンチマーク,ImageNet と CelebA-HQ のダウンサンプル版など,学習可能な変換による NDM の有用性を示す。
NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
関連論文リスト
- Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。
我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:25:56Z) - Distillation of Discrete Diffusion through Dimensional Correlations [21.078500510691747]
離散拡散における「ミクチャー」モデルは、拡張性を維持しながら次元相関を扱える。
CIFAR-10データセットで事前学習した連続時間離散拡散モデルを蒸留することにより,提案手法が実際に動作することを実証的に実証した。
論文 参考訳（メタデータ） (2024-10-11T10:53:03Z) - Tuning Timestep-Distilled Diffusion Model Using Pairwise Sample Optimization [97.35427957922714]
任意の時間ステップ蒸留拡散モデルを直接微調整できるPSOアルゴリズムを提案する。
PSOは、現在の時間ステップ蒸留モデルからサンプリングされた追加の参照画像を導入し、トレーニング画像と参照画像との相対的な近縁率を増大させる。
PSOは、オフラインとオンラインのペアワイズ画像データの両方を用いて、蒸留モデルを直接人間の好ましくない世代に適応させることができることを示す。
論文 参考訳（メタデータ） (2024-10-04T07:05:16Z) - Pruning then Reweighting: Towards Data-Efficient Training of Diffusion Models [33.09663675904689]
データセットプルーニングの観点から,効率的な拡散訓練について検討する。
GAN(Generative Adversarial Network)のような生成モデルに対するデータ効率トレーニングの原則に着想を得て、まず、GANで使用されるデータ選択スキームをDMトレーニングに拡張する。
生成性能をさらに向上するため,クラスワイド・リウェイト方式を採用する。
論文 参考訳（メタデータ） (2024-09-27T20:21:19Z) - Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。
また,前処理を学習するための新しいパラメータ化手法を提案する。
結果はNFDMの汎用性と幅広い応用の可能性を評価する。
論文 参考訳（メタデータ） (2024-04-19T15:10:54Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳（メタデータ） (2023-11-01T12:17:05Z) - DiffFlow: A Unified SDE Framework for Score-Based Diffusion Models and
Generative Adversarial Networks [41.451880167535776]
我々は、明示的生成モデル(SDM)と生成逆数ネット(GAN)のための統一的理論フレームワークを提案する。
統合理論フレームワークでは,GAN や SDM 以外の新しいアルゴリズムを精度の高い推定で提供する DiffFLow のインスタンス化がいくつか導入されている。
論文 参考訳（メタデータ） (2023-07-05T10:00:53Z) - Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。
暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。
提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2023-06-21T18:49:22Z) - Reflected Diffusion Models [93.26107023470979]
本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。
提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
論文 参考訳（メタデータ） (2023-04-10T17:54:38Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳（メタデータ） (2023-01-19T09:48:07Z) - Diffusion Glancing Transformer for Parallel Sequence to Sequence
Learning [52.72369034247396]
モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。
DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
論文 参考訳（メタデータ） (2022-12-20T13:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。