論文の概要: An optimal control perspective on diffusion-based generative modeling

• arxiv url: http://arxiv.org/abs/2211.01364v3
• Date: Tue, 26 Mar 2024 17:45:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 01:59:27.861556
• Title: An optimal control perspective on diffusion-based generative modeling
• Title（参考訳）: 拡散に基づく生成モデルにおける最適制御視点
• Authors: Julius Berner, Lorenz Richter, Karen Ullrich,
• Abstract要約: 微分方程式(SDE)に基づく最適制御と生成モデルとの接続を確立する。 特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。 非正規化密度から抽出する新しい拡散法を開発した。
• 参考スコア（独自算出の注目度）: 9.806130366152194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish a connection between stochastic optimal control and generative models based on stochastic differential equations (SDEs), such as recently developed diffusion probabilistic models. In particular, we derive a Hamilton-Jacobi-Bellman equation that governs the evolution of the log-densities of the underlying SDE marginals. This perspective allows to transfer methods from optimal control theory to generative modeling. First, we show that the evidence lower bound is a direct consequence of the well-known verification theorem from control theory. Further, we can formulate diffusion-based generative modeling as a minimization of the Kullback-Leibler divergence between suitable measures in path space. Finally, we develop a novel diffusion-based method for sampling from unnormalized densities -- a problem frequently occurring in statistics and computational sciences. We demonstrate that our time-reversed diffusion sampler (DIS) can outperform other diffusion-based sampling approaches on multiple numerical examples.
• Abstract（参考訳）: 我々は,最近開発された拡散確率モデルなど,確率微分方程式(SDE)に基づく確率最適制御と生成モデルとの接続を確立する。 特にハミルトン・ヤコビ・ベルマン方程式を導出し、基礎となるSDE限界の対数密度の進化を制御している。 この観点は、最適制御理論から生成的モデリングへのメソッドの転送を可能にする。 まず、下界の証拠が制御理論からよく知られた検証定理の直接的な帰結であることを示す。 さらに、経路空間における適切な測度間のKulback-Leibler分散の最小化として拡散に基づく生成モデルを定式化することができる。 最後に, 統計学や計算科学で頻繁に発生する問題である非正規化密度からの拡散に基づく新しいサンプリング法を開発した。 時間反転拡散サンプリング(DIS)は,複数の数値例において,他の拡散に基づくサンプリング手法よりも優れていることを示す。

関連論文リスト

• Amortized Posterior Sampling with Diffusion Prior Distillation [55.03585818289934]
  逆問題の解法として, 後方分布からのサンプルの変分推論手法を提案する。 本手法はユークリッド空間の標準信号や多様体上の信号に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-07-25T09:53:12Z)
• New algorithms for sampling and diffusion models [0.0]
  本稿では,未知分布を持つ拡散生成モデルのための新しいサンプリング手法と新しいアルゴリズムを提案する。 我々のアプローチは、拡散生成モデルにおいて広く採用されている逆拡散過程の概念に着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-14T02:30:04Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation [6.2255027793924285]
  提案したBSDEベースの拡散モデルは、機械学習における微分方程式(SDE)の適用を拡大する拡散モデリングの新しいアプローチを示す。 モデルの理論的保証、スコアマッチングにリプシッツネットワークを用いることの利点、および拡散反転、条件拡散、不確実性定量化など様々な分野への応用の可能性を示す。
  論文  参考訳（メタデータ） (2023-04-26T01:15:35Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Information-Theoretic Diffusion [18.356162596599436]
  拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。 情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
  論文  参考訳（メタデータ） (2023-02-07T23:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。