論文の概要: Solving Prior Distribution Mismatch in Diffusion Models via Optimal Transport

• arxiv url: http://arxiv.org/abs/2410.13431v1
• Date: Thu, 17 Oct 2024 10:54:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:21:06.132529
• Title: Solving Prior Distribution Mismatch in Diffusion Models via Optimal Transport
• Title（参考訳）: 最適輸送による拡散モデルにおける事前分布ミスマッチの解法
• Authors: Zhanpeng Wang, Shenghao Li, Chen Wang, Shuting Cao, Na Lei, Zhongxuan Luo,
• Abstract要約: 近年,拡散モデル(DM)に関する知識は著しく増大しているが,いくつかの理論的なギャップが残っている。 本稿では、最適輸送(OT)理論と離散初期分布を持つDMとの深い関係について検討する。 拡散終了時間が増加するにつれて、確率フローは古典モンジュ・アンペア方程式の解の勾配に指数関数的に収束する。
• 参考スコア（独自算出の注目度）: 24.90486913773359
• License:
• Abstract: In recent years, the knowledge surrounding diffusion models(DMs) has grown significantly, though several theoretical gaps remain. Particularly noteworthy is prior error, defined as the discrepancy between the termination distribution of the forward process and the initial distribution of the reverse process. To address these deficiencies, this paper explores the deeper relationship between optimal transport(OT) theory and DMs with discrete initial distribution. Specifically, we demonstrate that the two stages of DMs fundamentally involve computing time-dependent OT. However, unavoidable prior error result in deviation during the reverse process under quadratic transport cost. By proving that as the diffusion termination time increases, the probability flow exponentially converges to the gradient of the solution to the classical Monge-Amp\`ere equation, we establish a vital link between these fields. Therefore, static OT emerges as the most intrinsic single-step method for bridging this theoretical potential gap. Additionally, we apply these insights to accelerate sampling in both unconditional and conditional generation scenarios. Experimental results across multiple image datasets validate the effectiveness of our approach.
• Abstract（参考訳）: 近年,拡散モデル(DM)に関する知識は著しく増大しているが,いくつかの理論的なギャップが残っている。 特に注目すべきは、前処理の終了分布と逆プロセスの初期分布との相違として定義される事前エラーである。 これらの欠陥に対処するために, 最適輸送(OT)理論と離散的な初期分布を持つDMとの深い関係について検討する。 具体的には、DMの2つの段階が、時間依存OTの計算に根本的に関わっていることを実証する。 しかし、回避不可能な事前誤差は、二次輸送コストの逆過程におけるずれをもたらす。 拡散終了時間が増加するにつれて、確率フローは古典的モンジュ=アンプ=エル方程式の解の勾配に指数関数的に収束することにより、これらの場の間に重要なリンクを確立する。 したがって、静的OTは、この理論的ポテンシャルギャップを埋める最も本質的な単一ステップ法として現れる。 さらに、これらの知見を適用し、無条件および条件生成シナリオのサンプリングを高速化する。 複数の画像データセットにまたがる実験結果により,本手法の有効性が検証された。

関連論文リスト

• Variational Diffusion Posterior Sampling with Midpoint Guidance [19.43399234028389]
  State-of-the-artアプローチは、後部をターゲットとする代理拡散モデルからサンプリングする問題として問題を定式化する。 前者は事前学習した拡散モデルのスコアに置き換えられるが、誘導項は推定する必要がある。 線形および非線形逆問題に対する広範な実験を通じて提案手法を検証する。
  論文  参考訳（メタデータ） (2024-10-13T18:03:53Z)
• G2D2: Gradient-guided Discrete Diffusion for image inverse problem solving [55.185588994883226]
  本稿では,従来の離散拡散に基づく画像生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々の知る限りでは、これは画像逆問題を解決するために離散拡散モデルに基づく先行手法を使う最初のアプローチである。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Intention-aware Denoising Diffusion Model for Trajectory Prediction [14.524496560759555]
  軌道予測は、特に衝突回避システムにおいて、自律運転において不可欠な要素である。 本稿では,拡散モデルを用いて将来の軌道の分布を生成することを提案する。 Intention-aware denoising Diffusion Model (IDM)を提案する。 提案手法は,SDDデータセットでは13.83ピクセル,ETH/UCYデータセットでは0.36メートルのFDEで,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-03-14T09:05:25Z)
• Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
  拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。 これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。 我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• Fast Diffusion Model [122.36693015093041]
  拡散モデル(DM)は、複雑なデータ分布を捉える能力を持つ様々な分野に採用されている。 本稿では,DM最適化の観点から,高速拡散モデル (FDM) を提案する。
  論文  参考訳（メタデータ） (2023-06-12T09:38:04Z)
• Reconstructing Graph Diffusion History from a Single Snapshot [87.20550495678907]
  A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。 本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。 また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
  論文  参考訳（メタデータ） (2023-06-01T09:39:32Z)
• Two-stage Denoising Diffusion Model for Source Localization in Graph Inverse Problems [19.57064597050846]
  ソースローカライゼーションは、グラフ情報拡散の逆問題である。 本稿では,2段階最適化フレームワークであるソースローカライゼーション・デノナイズ拡散モデル(SL-Diff)を提案する。 SL-Diffは広範囲な実験で適切なサンプリング時間内に優れた予測結果が得られる。
  論文  参考訳（メタデータ） (2023-04-18T09:11:09Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Diffusion Schr\"odinger Bridge with Applications to Score-Based Generative Modeling [24.46142828617484]
  Diffusion SB は、Schr"odinger Bridge 問題を解くために、Iterative Proportional Fitting (IPF) 手順のオリジナル近似である。 本稿では,SB問題の解法としてIterative Proportional Fitting (IPF) 法のオリジナル近似であるDiffusion SBを提案する。
  論文  参考訳（メタデータ） (2021-06-01T17:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。