論文の概要: A Geometric Perspective on Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.19947v1
• Date: Wed, 31 May 2023 15:33:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 15:43:14.520204
• Title: A Geometric Perspective on Diffusion Models
• Title（参考訳）: 拡散モデルに関する幾何学的展望
• Authors: Defang Chen, Zhenyu Zhou, Jian-Ping Mei, Chunhua Shen, Chun Chen, Can Wang
• Abstract要約: 本稿では,拡散モデルの幾つもの興味深い幾何学的構造を明らかにし,そのサンプリング力学にシンプルながら強力な解釈を与える。 また、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立し、拡散モデルの挙動を特徴付け、スコア偏差を識別する。
• 参考スコア（独自算出の注目度）: 80.21287945183384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed significant progress in developing efficient training and fast sampling approaches for diffusion models. A recent remarkable advancement is the use of stochastic differential equations (SDEs) to describe data perturbation and generative modeling in a unified mathematical framework. In this paper, we reveal several intriguing geometric structures of diffusion models and contribute a simple yet powerful interpretation to their sampling dynamics. Through carefully inspecting a popular variance-exploding SDE and its marginal-preserving ordinary differential equation (ODE) for sampling, we discover that the data distribution and the noise distribution are smoothly connected with an explicit, quasi-linear sampling trajectory, and another implicit denoising trajectory, which even converges faster in terms of visual quality. We also establish a theoretical relationship between the optimal ODE-based sampling and the classic mean-shift (mode-seeking) algorithm, with which we can characterize the asymptotic behavior of diffusion models and identify the score deviation. These new geometric observations enable us to improve previous sampling algorithms, re-examine latent interpolation, as well as re-explain the working principles of distillation-based fast sampling techniques.
• Abstract（参考訳）: 近年,拡散モデルのための効率的なトレーニングと高速サンプリング手法の開発が進展している。 最近の顕著な進歩は、統一された数学的枠組みにおけるデータ摂動と生成モデリングを記述するために確率微分方程式(SDE)を使用することである。 本稿では,拡散モデルのいくつかの興味深い幾何学的構造を明らかにし,そのサンプリングダイナミクスに単純かつ強力な解釈を与える。 本研究では, サンプリングによく用いられる分散露光SDEとその限界保存常微分方程式(ODE)を精査することにより, データ分布と雑音分布が, 視覚的品質の観点からより高速に収束する, 擬似線形サンプリング軌道, および暗黙的復調軌道と円滑に結びついていることを明らかにする。 また,最適なodeに基づくサンプリングと,拡散モデルの漸近的挙動を特徴付け,スコアの偏差を識別できる古典的な平均シフト(モード参照)アルゴリズムとの理論的関係も確立した。 これらの新しい幾何学的観測により,従来のサンプリングアルゴリズムの改良,潜時補間の再検討,蒸留法に基づく高速サンプリング手法の動作原理の再検討が可能となった。

関連論文リスト

• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Exploring the Optimal Choice for Generative Processes in Diffusion Models: Ordinary vs Stochastic Differential Equations [6.2284442126065525]
  ゼロ拡散(ODE)の場合と大きな拡散の場合の2つの制限シナリオについて数学的に検討する。 その結果, 生成過程の終端に摂動が発生すると, ODEモデルは大きな拡散係数でSDEモデルより優れることがわかった。
  論文  参考訳（メタデータ） (2023-06-03T09:27:15Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• An optimal control perspective on diffusion-based generative modeling [9.806130366152194]
  微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。 特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。 非正規化密度から抽出する新しい拡散法を開発した。
  論文  参考訳（メタデータ） (2022-11-02T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。