論文の概要: Unifying Bayesian Flow Networks and Diffusion Models through Stochastic Differential Equations

• arxiv url: http://arxiv.org/abs/2404.15766v1
• Date: Wed, 24 Apr 2024 09:39:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 19:40:12.064631
• Title: Unifying Bayesian Flow Networks and Diffusion Models through Stochastic Differential Equations
• Title（参考訳）: 確率微分方程式によるベイズ流の統一と拡散モデル
• Authors: Kaiwen Xue, Yuhao Zhou, Shen Nie, Xu Min, Xiaolu Zhang, Jun Zhou, Chongxuan Li,
• Abstract要約: 拡散モデル(DM)のサンプルの代わりに、ベイズ流ネットワーク(BFN)がパラメータを反復的に洗練する。 本稿では,BFNを微分方程式(SDE)を介してDMと接続することで理解し,拡張することを目的とする。 そこで本研究では,BFNのサンプル品質を著しく上回るBFNの特殊解法を提案する。
• 参考スコア（独自算出の注目度）: 33.15345977693178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian flow networks (BFNs) iteratively refine the parameters, instead of the samples in diffusion models (DMs), of distributions at various noise levels through Bayesian inference. Owing to its differentiable nature, BFNs are promising in modeling both continuous and discrete data, while simultaneously maintaining fast sampling capabilities. This paper aims to understand and enhance BFNs by connecting them with DMs through stochastic differential equations (SDEs). We identify the linear SDEs corresponding to the noise-addition processes in BFNs, demonstrate that BFN's regression losses are aligned with denoise score matching, and validate the sampler in BFN as a first-order solver for the respective reverse-time SDE. Based on these findings and existing recipes of fast sampling in DMs, we propose specialized solvers for BFNs that markedly surpass the original BFN sampler in terms of sample quality with a limited number of function evaluations (e.g., 10) on both image and text datasets. Notably, our best sampler achieves an increase in speed of 5~20 times for free. Our code is available at https://github.com/ML-GSAI/BFN-Solver.
• Abstract（参考訳）: ベイズ流ネットワーク (BFN) は, 拡散モデル (DM) のサンプルではなく, ベイズ推定による様々なノイズレベルの分布のパラメータを反復的に改良する。 識別可能な性質のため、BFNは連続データと離散データの両方をモデリングし、同時に高速サンプリング機能を維持することを約束している。 本稿では,確率微分方程式(SDE)を用いて,BFNをDMに接続することで,BFNの理解と拡張を図る。 我々は,BFNの雑音付加過程に対応する線形SDEを同定し,BFNの回帰損失が復調点マッチングと一致していることを示し,各逆時間SDEの1次解法としてBFNのサンプルを検証した。 これらの知見と既存のDMにおける高速サンプリングのレシピに基づいて、画像とテキストの両方で機能評価(例、10)が限定されたサンプル品質の観点から、元のBFNサンプリングを著しく上回るBFNの特殊解法を提案する。 特に,本研究では,5～20倍の速度を無償で達成している。 私たちのコードはhttps://github.com/ML-GSAI/BFN-Solver.comから入手可能です。

関連論文リスト

• Diffusion-PINN Sampler [6.656265182236135]
  物理インフォームドニューラルネットワーク(PINN)を用いて,基礎となるSDEの対数密度の制御偏微分方程式を解くことにより,ドリフト項を推定する新しい拡散型サンプリングアルゴリズムを提案する。 DPSの収束保証を確立するために、PINN残差損失によって対数密度近似の誤差を制御できることを証明した。
  論文  参考訳（メタデータ） (2024-10-20T09:02:16Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Neural Diffusion Models [2.1779479916071067]
  本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。 NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-12T13:54:55Z)
• Bayesian Flow Networks [4.585102332532472]
  本稿では,ベイジアン・フロー・ネットワーク(BFN)について述べる。ベイジアン・フロー・ネットワーク(BFN)は,独立分布の集合のパラメータをベイジアン推論で修正した新しい生成モデルである。 単純な事前および反復的な2つの分布の更新から始めると、拡散モデルの逆過程に似た生成手順が得られる。 BFNは動的にバイナライズされたMNISTとCIFAR-10で画像モデリングを行うために競合するログライクフレーションを実現し、text8文字レベルの言語モデリングタスクにおいて既知のすべての離散拡散モデルより優れている。
  論文  参考訳（メタデータ） (2023-08-14T09:56:35Z)
• DiffFlow: A Unified SDE Framework for Score-Based Diffusion Models and Generative Adversarial Networks [41.451880167535776]
  我々は、明示的生成モデル(SDM)と生成逆数ネット(GAN)のための統一的理論フレームワークを提案する。 統合理論フレームワークでは,GAN や SDM 以外の新しいアルゴリズムを精度の高い推定で提供する DiffFLow のインスタンス化がいくつか導入されている。
  論文  参考訳（メタデータ） (2023-07-05T10:00:53Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。