論文の概要: FreeFlow: A Comprehensive Understanding on Diffusion Probabilistic Models via Optimal Transport

• arxiv url: http://arxiv.org/abs/2312.05486v1
• Date: Sat, 9 Dec 2023 07:24:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 20:36:29.244115
• Title: FreeFlow: A Comprehensive Understanding on Diffusion Probabilistic Models via Optimal Transport
• Title（参考訳）: freeflow:最適輸送による拡散確率モデルに関する包括的理解
• Authors: Bowen Sun, Shibao Zheng
• Abstract要約: 拡散確率モデル(DPM)は、その優れた性能と、物理学から引き出されたエレガントなインスピレーションにより、大きな関心を集めている。 時間依存の最適輸送として拡散公式の詳細な説明を提供するフレームワークであるFreeFlowを提案する。 特に、コア方程式FreeFlowは、すべての決定論的および決定論的DPMを単一のケースに縮合し、我々の方法の拡張可能性を示す。
• 参考スコア（独自算出の注目度）: 3.8496256387884378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The blooming diffusion probabilistic models (DPMs) have garnered significant interest due to their impressive performance and the elegant inspiration they draw from physics. While earlier DPMs relied upon the Markovian assumption, recent methods based on differential equations have been rapidly applied to enhance the efficiency and capabilities of these models. However, a theoretical interpretation encapsulating these diverse algorithms is insufficient yet pressingly required to guide further development of DPMs. In response to this need, we present FreeFlow, a framework that provides a thorough explanation of the diffusion formula as time-dependent optimal transport, where the evolutionary pattern of probability density is given by the gradient flows of a functional defined in Wasserstein space. Crucially, our framework necessitates a unified description that not only clarifies the subtle mechanism of DPMs but also indicates the roots of some defects through creative involvement of Lagrangian and Eulerian views to understand the evolution of probability flow. We particularly demonstrate that the core equation of FreeFlow condenses all stochastic and deterministic DPMs into a single case, showcasing the expansibility of our method. Furthermore, the Riemannian geometry employed in our work has the potential to bridge broader subjects in mathematics, which enable the involvement of more profound tools for the establishment of more outstanding and generalized models in the future.
• Abstract（参考訳）: blooming diffusion probabilistic models (dpms) は、その印象的な性能と物理学からの優雅な着想によって、大きな関心を集めている。 初期のDPMはマルコフの仮定に依存していたが、微分方程式に基づく最近の手法はこれらのモデルの効率性と能力を高めるために急速に適用されてきた。 しかし、これらの多様なアルゴリズムをカプセル化する理論的解釈は、DPMのさらなる発展を導くには不十分である。 このニーズに対応するために、我々は拡散公式を時間依存最適輸送として詳細に説明するフレームワークであるfreeflow を提示し、そこで確率密度の進化パターンは、ワッサーシュタイン空間で定義される関数の勾配フローによって与えられる。 重要なことは、我々のフレームワークは、DPMの微妙なメカニズムを解明するだけでなく、確率フローの進化を理解するためにラグランジアンとユーレリアの視点の創造的な関与を通して、いくつかの欠陥の根源を示す統一的な記述を必要とする。 特に,自由流のコア方程式がすべての確率的かつ決定論的dpmを1つのケースに凝縮することを示し,本手法の拡張性を示す。 さらに、本研究で採用されているリーマン幾何学は、数学におけるより広い主題を橋渡しする可能性を持ち、将来より卓越的で一般化されたモデルを確立するためのより深いツールの関与を可能にする。

関連論文リスト

• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Categorical Flow Matching on Statistical Manifolds [12.646272756981672]
  本稿では,情報幾何学に着想を得たパラメータ化確率尺度の多様体上でのフローマッチングフレームワークを提案する。 我々は,多様体間の微分同相法により数値安定性を克服する効率的なトレーニングとサンプリングアルゴリズムを開発した。 我々は、SFMが、既存のモデルがしばしば失敗するような統計多様体上でより複雑なパターンを学習できることを示した。
  論文  参考訳（メタデータ） (2024-05-26T05:50:39Z)
• Neural Flow Diffusion Models: Learnable Forward Process for Improved Diffusion Modelling [2.1779479916071067]
  より広い範囲のプロセスをサポートすることで拡散モデルを強化する新しいフレームワークを提案する。 また,前処理を学習するための新しいパラメータ化手法を提案する。 結果はNFDMの汎用性と幅広い応用の可能性を評価する。
  論文  参考訳（メタデータ） (2024-04-19T15:10:54Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Eliminating Lipschitz Singularities in Diffusion Models [51.806899946775076]
  拡散モデルは、時間ステップの零点付近で無限のリプシッツをしばしば表すことを示す。 これは、積分演算に依存する拡散過程の安定性と精度に脅威をもたらす。 我々はE-TSDMと呼ばれる新しい手法を提案し、これは0に近い拡散モデルのリプシッツを除去する。
  論文  参考訳（メタデータ） (2023-06-20T03:05:28Z)
• Reconstructing Graph Diffusion History from a Single Snapshot [87.20550495678907]
  A single SnapsHot (DASH) から拡散履歴を再構築するための新しいバリセンターの定式化を提案する。 本研究では,拡散パラメータ推定のNP硬度により,拡散パラメータの推定誤差が避けられないことを証明する。 また、DITTO(Diffusion hitting Times with Optimal proposal)という効果的な解法も開発している。
  論文  参考訳（メタデータ） (2023-06-01T09:39:32Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• An optimal control perspective on diffusion-based generative modeling [9.806130366152194]
  微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。 特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。 非正規化密度から抽出する新しい拡散法を開発した。
  論文  参考訳（メタデータ） (2022-11-02T17:59:09Z)
• A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
  学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。 フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。 既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
  論文  参考訳（メタデータ） (2019-10-31T02:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。