論文の概要: A Geometric Perspective on Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.19947v1
• Date: Wed, 31 May 2023 15:33:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 15:43:14.520204
• Title: A Geometric Perspective on Diffusion Models
• Title（参考訳）: 拡散モデルに関する幾何学的展望
• Authors: Defang Chen, Zhenyu Zhou, Jian-Ping Mei, Chunhua Shen, Chun Chen, Can Wang
• Abstract要約: 本稿では,拡散モデルの幾つもの興味深い幾何学的構造を明らかにし,そのサンプリング力学にシンプルながら強力な解釈を与える。 また、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立し、拡散モデルの挙動を特徴付け、スコア偏差を識別する。
• 参考スコア（独自算出の注目度）: 80.21287945183384
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed significant progress in developing efficient training and fast sampling approaches for diffusion models. A recent remarkable advancement is the use of stochastic differential equations (SDEs) to describe data perturbation and generative modeling in a unified mathematical framework. In this paper, we reveal several intriguing geometric structures of diffusion models and contribute a simple yet powerful interpretation to their sampling dynamics. Through carefully inspecting a popular variance-exploding SDE and its marginal-preserving ordinary differential equation (ODE) for sampling, we discover that the data distribution and the noise distribution are smoothly connected with an explicit, quasi-linear sampling trajectory, and another implicit denoising trajectory, which even converges faster in terms of visual quality. We also establish a theoretical relationship between the optimal ODE-based sampling and the classic mean-shift (mode-seeking) algorithm, with which we can characterize the asymptotic behavior of diffusion models and identify the score deviation. These new geometric observations enable us to improve previous sampling algorithms, re-examine latent interpolation, as well as re-explain the working principles of distillation-based fast sampling techniques.
• Abstract（参考訳）: 近年,拡散モデルのための効率的なトレーニングと高速サンプリング手法の開発が進展している。 最近の顕著な進歩は、統一された数学的枠組みにおけるデータ摂動と生成モデリングを記述するために確率微分方程式(SDE)を使用することである。 本稿では,拡散モデルのいくつかの興味深い幾何学的構造を明らかにし,そのサンプリングダイナミクスに単純かつ強力な解釈を与える。 本研究では, サンプリングによく用いられる分散露光SDEとその限界保存常微分方程式(ODE)を精査することにより, データ分布と雑音分布が, 視覚的品質の観点からより高速に収束する, 擬似線形サンプリング軌道, および暗黙的復調軌道と円滑に結びついていることを明らかにする。 また,最適なodeに基づくサンプリングと,拡散モデルの漸近的挙動を特徴付け,スコアの偏差を識別できる古典的な平均シフト(モード参照)アルゴリズムとの理論的関係も確立した。 これらの新しい幾何学的観測により,従来のサンプリングアルゴリズムの改良,潜時補間の再検討,蒸留法に基づく高速サンプリング手法の動作原理の再検討が可能となった。

関連論文リスト

• Discrete vs. Continuous Trade-offs for Generative Models [0.0]
  本研究は拡散確率モデル(DDPM)の理論的および実践的基礎を探求する。 プロセスとブラウン運動を利用して複雑なデータ分布をモデル化するDDPMとスコアベース生成モデル。
  論文  参考訳（メタデータ） (2024-12-26T08:14:27Z)
• Elucidating Flow Matching ODE Dynamics with Respect to Data Geometries [10.947094609205765]
  拡散に基づく生成モデルが画像生成の標準となり, 学習ベクトル場によるサンプリングステップの削減により, 拡散モデルと比較して, ODEベースのサンプリングモデルとフローマッチングモデルにより効率が向上した。 我々は,ODE力学を駆動するデノイザを中心に,サンプル軌道の包括的解析を通じて,フローマッチングモデルの理論を推し進める。 解析により,グローバルなデータ特徴から局所構造への軌道の進化が明らかとなり,フローマッチングモデルにおけるサンプルごとの挙動の幾何学的特徴が得られた。
  論文  参考訳（メタデータ） (2024-12-25T01:17:15Z)
• Diffusing Differentiable Representations [60.72992910766525]
  本稿では,事前学習した拡散モデルを用いて,微分可能な表現(拡散)をサンプリングする,新しい学習自由な手法を提案する。 差分によって引き起こされるサンプルに対する暗黙の制約を特定し、この制約に対処することで、生成されたオブジェクトの一貫性と詳細が大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2024-12-09T20:42:58Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
  本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。 画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-02T02:05:38Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• An optimal control perspective on diffusion-based generative modeling [9.806130366152194]
  微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。 特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。 非正規化密度から抽出する新しい拡散法を開発した。
  論文  参考訳（メタデータ） (2022-11-02T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。