論文の概要: Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling
- arxiv url: http://arxiv.org/abs/2404.12940v2
- Date: Sat, 1 Jun 2024 10:25:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 15:18:10.866404
- Title: Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling
- Title（参考訳）: ニューラルフロー拡散モデル:改良された拡散モデルのための学習可能な前方プロセス
- Authors: Grigory Bartosh, Dmitry Vetrov, Christian A. Naesseth,
- Abstract要約: より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。
また,前処理を学習するための新しいパラメータ化手法を提案する。
結果はNFDMの汎用性と幅広い応用の可能性を評価する。
- 参考スコア（独自算出の注目度）: 2.1779479916071067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conventional diffusion models typically relies on a fixed forward process, which implicitly defines complex marginal distributions over latent variables. This can often complicate the reverse process' task in learning generative trajectories, and results in costly inference for diffusion models. To address these limitations, we introduce Neural Flow Diffusion Models (NFDM), a novel framework that enhances diffusion models by supporting a broader range of forward processes beyond the standard Gaussian. We also propose a novel parameterization technique for learning the forward process. Our framework provides an end-to-end, simulation-free optimization objective, effectively minimizing a variational upper bound on the negative log-likelihood. Experimental results demonstrate NFDM's strong performance, evidenced by state-of-the-art likelihood estimation. Furthermore, we investigate NFDM's capacity for learning generative dynamics with specific characteristics, such as deterministic straight lines trajectories, and demonstrate how the framework may be adopted for learning bridges between two distributions. The results underscores NFDM's versatility and its potential for a wide range of applications.
- Abstract（参考訳）: 従来の拡散モデルは一般に固定前方過程に依存し、潜在変数上の複素境界分布を暗黙的に定義する。
これはしばしば、生成的軌跡を学習する際の逆過程のタスクを複雑にし、拡散モデルに対するコストのかかる推論をもたらす。
これらの制約に対処するため,我々は,標準ガウスを超えて幅広い前方プロセスをサポートすることで拡散モデルを強化する新しいフレームワークであるNeural Flow Diffusion Models (NFDM)を導入する。
また,前処理を学習するための新しいパラメータ化手法を提案する。
筆者らのフレームワークは, エンド・ツー・エンドでシミュレーション不要な最適化を目標とし, 負の対数線上の変分上限を効果的に最小化する。
実験によりNFDMの強い性能が実証された。
さらに,NFDMが生成力学を学習する能力,例えば決定論的直線軌跡などの特性について検討し,この枠組みが2つの分布間の橋梁の学習にどのように適用されるかを示す。
この結果は、NFDMの汎用性と幅広い応用の可能性を示している。
関連論文リスト
- Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。
PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
論文 参考訳（メタデータ） (2024-07-18T17:35:32Z) - An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。
経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。
本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
論文 参考訳（メタデータ） (2024-04-11T14:07:25Z) - MG-TSD: Multi-Granularity Time Series Diffusion Models with Guided Learning Process [26.661721555671626]
本稿では,最先端の予測性能を実現する新しい多粒度時系列(MG-TSD)モデルを提案する。
われわれのアプローチは外部データに頼らず、様々な領域にまたがって汎用的で適用可能である。
論文 参考訳（メタデータ） (2024-03-09T01:15:03Z) - Neural Diffusion Models [2.1779479916071067]
本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。
NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
論文 参考訳（メタデータ） (2023-10-12T13:54:55Z) - Protein Design with Guided Discrete Diffusion [67.06148688398677]
タンパク質設計における一般的なアプローチは、生成モデルと条件付きサンプリングのための識別モデルを組み合わせることである。
離散拡散モデルのためのガイダンス手法であるdiffusioN Optimized Smpling (NOS)を提案する。
NOSは、構造に基づく手法の重要な制限を回避し、シーケンス空間で直接設計を行うことができる。
論文 参考訳（メタデータ） (2023-05-31T16:31:24Z) - Diff-Instruct: A Universal Approach for Transferring Knowledge From
Pre-trained Diffusion Models [77.83923746319498]
本稿では,任意の生成モデルの学習を指導するDiff-Instructというフレームワークを提案する。
Diff-Instructは、最先端の単一ステップ拡散モデルであることを示す。
GANモデルの精製実験により、Diff-InstructはGANモデルの事前訓練されたジェネレータを一貫して改善できることが示されている。
論文 参考訳（メタデータ） (2023-05-29T04:22:57Z) - Restoration based Generative Models [0.886014926770622]
デノイング拡散モデル(DDM)は、印象的な合成品質を示すことで注目を集めている。
本稿では、画像復元(IR)の観点からDDMの解釈を確立する。
本稿では,前処理の柔軟性を生かして,拡散過程と比較して性能を向上するマルチスケールトレーニングを提案する。
われわれのフレームワークは、新しいタイプのフレキシブル・ジェネラル・ジェネラル・ジェネレーティブ・モデルの設計の道を開いたと信じている。
論文 参考訳（メタデータ） (2023-02-20T00:53:33Z) - A Reparameterized Discrete Diffusion Model for Text Generation [39.0145272152805]
本研究は, 離散拡散確率モデルと自然言語生成への応用に関する研究である。
離散拡散過程からサンプリングの代替的かつ等価な定式化を導出する。
本研究では,既存の拡散モデルに対して,テキスト生成能力を評価するための広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-02-11T16:26:57Z) - Information-Theoretic Diffusion [18.356162596599436]
拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。
情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
論文 参考訳（メタデータ） (2023-02-07T23:03:07Z) - A Survey on Generative Diffusion Model [75.93774014861978]
拡散モデルは、深層生成モデルの新たなクラスである。
時間を要する反復生成過程や高次元ユークリッド空間への閉じ込めなど、いくつかの制限がある。
本調査では,拡散モデルの向上を目的とした高度な手法を多数提示する。
論文 参考訳（メタデータ） (2022-09-06T16:56:21Z) - Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。
我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
論文 参考訳（メタデータ） (2021-06-03T00:02:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。