論文の概要: On the Mathematics of Diffusion Models
- arxiv url: http://arxiv.org/abs/2301.11108v1
- Date: Wed, 25 Jan 2023 16:39:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-27 13:45:01.562922
- Title: On the Mathematics of Diffusion Models
- Title（参考訳）: 拡散モデルの数学について
- Authors: David McAllester
- Abstract要約: 拡散モデルでは、まず集団からサンプルを取り出し、ノイズのみが残るまで徐々にノイズを付加する拡散過程を定義する。
本稿では,拡散モデルの微分方程式を広範に利用可能な方法で提示する。
- 参考スコア（独自算出の注目度）: 7.766921168069532
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper attempts to present the stochastic differential equations of
diffusion models in a manner that is accessible to a broad audience. The
diffusion process is defined over a population density in R^d. Of particular
interest is a population of images. In a diffusion model one first defines a
diffusion process that takes a sample from the population and gradually adds
noise until only noise remains. The fundamental idea is to sample from the
population by a reverse-diffusion process mapping pure noise to a population
sample. The diffusion process is defined independent of any ``interpretation''
but can be analyzed using the mathematics of variational auto-encoders (the
``VAE interpretation'') or the Fokker-Planck equation (the ``score-matching
intgerpretation''). Both analyses yield reverse-diffusion methods involving the
score function. The Fokker-Planck analysis yields a family of reverse-diffusion
SDEs parameterized by any desired level of reverse-diffusion noise including
zero (deterministic reverse-diffusion). The VAE analysis yields the
reverse-diffusion SDE at the same noise level as the diffusion SDE. The VAE
analysis also yields a useful expression for computing the population
probabilities of a given point (image). This formula for the probability of a
given point does not seem to follow naturally from the Fokker-Planck analysis.
Much, but apparently not all, of the mathematics presented here can be found in
the literature. Attributions are given at the end of the paper.
- Abstract（参考訳）: 本稿では,拡散モデルの確率微分方程式を,幅広いオーディエンスが利用できる方法で提示することを試みる。
拡散過程はR^dの集団密度上で定義される。
特に興味深いのは画像の人口である。
拡散モデルでは、まず集団からサンプルを取り出し、ノイズのみが残るまで徐々にノイズを付加する拡散過程を定義する。
基本的な考え方は、純粋なノイズを人口サンプルにマッピングする逆拡散プロセスによって人口からサンプルを取ることである。
拡散過程は任意の ``reinterpretation' とは独立に定義されるが、変分オートエンコーダ (``vae interpretation''') や fokker-planck 方程式 (`score-matching intgerpretation'') を用いて解析することができる。
どちらの解析もスコア関数を含む逆拡散法をもたらす。
Fokker-Planck解析は、ゼロ(決定論的逆拡散)を含む任意の所望の逆拡散雑音によってパラメータ化された逆拡散SDEの族を生成する。
VAE解析は拡散SDEと同じノイズレベルで逆拡散SDEを生成する。
VAE分析はまた、与えられた点(画像)の集団確率を計算するのに有用な表現を与える。
与えられた点の確率に関するこの公式は、フォッカー・プランク解析から自然に従わないようである。
ここで提示される数学の多くは、明らかに全てではないが、文献で見ることができる。
論文の最後には属性が与えられます。
関連論文リスト
- Total Uncertainty Quantification in Inverse PDE Solutions Obtained with Reduced-Order Deep Learning Surrogate Models [50.90868087591973]
機械学習サロゲートモデルを用いて得られた逆PDE解の総不確かさを近似したベイズ近似法を提案する。
非線型拡散方程式に対する反復的アンサンブルスムーズおよび深層アンサンブル法との比較により,提案手法を検証した。
論文 参考訳（メタデータ） (2024-08-20T19:06:02Z) - Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。
我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
論文 参考訳（メタデータ） (2024-05-31T16:18:46Z) - Lecture Notes in Probabilistic Diffusion Models [0.5361320134021585]
拡散モデルは非平衡熱力学に基づいてゆるやかにモデル化される。
拡散モデルは、元のデータサンプルが属するデータ多様体を学習する。
拡散モデルは、変分オートエンコーダやフローモデルとは異なり、元のデータと同じ次元の潜伏変数を持つ。
論文 参考訳（メタデータ） (2023-12-16T09:36:54Z) - Diffusion on the Probability Simplex [24.115365081118604]
拡散モデルは、データ分布のプログレッシブノイズ化を逆転させ、生成モデルを作成する。
本稿では,確率単純度上で拡散を行う手法を提案する。
本手法は,有界画像生成に適用可能な単位立方体上の拡散を含むように自然に拡張されている。
論文 参考訳（メタデータ） (2023-09-05T18:52:35Z) - Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。
これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。
我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
論文 参考訳（メタデータ） (2023-06-20T03:05:28Z) - Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces [0.0]
前方拡散過程における任意の離散状態マルコフ過程の理論的定式化を開発する。
例えばBlackout Diffusion'は、ノイズからではなく、空のイメージからサンプルを生成することを学習する。
論文 参考訳（メタデータ） (2023-05-18T16:24:12Z) - A Variational Perspective on Solving Inverse Problems with Diffusion
Models [101.831766524264]
逆タスクは、データ上の後続分布を推測するものとして定式化することができる。
しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。
そこで我々は,真の後続分布を近似する設計手法を提案する。
論文 参考訳（メタデータ） (2023-05-07T23:00:47Z) - Where to Diffuse, How to Diffuse, and How to Get Back: Automated
Learning for Multivariate Diffusions [22.04182099405728]
拡散に基づく生成モデル(DBGM)は、ターゲット雑音分布に摂動データを変換し、この推論拡散過程を逆にしてサンプルを生成する。
補助変数の数に対して、低いバウンドを最大化する方法を示す。
次に,特定対象雑音分布の拡散をパラメータ化する方法を示す。
論文 参考訳（メタデータ） (2023-02-14T18:57:04Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - DensePure: Understanding Diffusion Models towards Adversarial Robustness [110.84015494617528]
拡散モデルの特性を解析し,それらが証明された堅牢性を高める条件を確立する。
事前訓練されたモデル(すなわち分類器)の信頼性向上を目的とした新しいDensePure法を提案する。
このロバストな領域は多重凸集合の和であり、以前の研究で特定されたロバストな領域よりもはるかに大きい可能性が示されている。
論文 参考訳（メタデータ） (2022-11-01T08:18:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。