論文の概要: Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance

• arxiv url: http://arxiv.org/abs/2212.06359v1
• Date: Tue, 13 Dec 2022 03:48:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 14:09:57.767832
• Title: Score-based Generative Modeling Secretly Minimizes the Wasserstein Distance
• Title（参考訳）: スコアベース生成モデルによるワッサーシュタイン距離の極小化
• Authors: Dohyun Kwon, Ying Fan, Kangwook Lee
• Abstract要約: スコアベースモデルはまた、モデル上の適切な仮定の下で、それらの間のワッサーシュタイン距離を最小化することを示した。 我々の証明は、社会に独立した関心を持つことのできる最適輸送理論の新たな応用に基づいている。
• 参考スコア（独自算出の注目度）: 14.846377138993642
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Score-based generative models are shown to achieve remarkable empirical performances in various applications such as image generation and audio synthesis. However, a theoretical understanding of score-based diffusion models is still incomplete. Recently, Song et al. showed that the training objective of score-based generative models is equivalent to minimizing the Kullback-Leibler divergence of the generated distribution from the data distribution. In this work, we show that score-based models also minimize the Wasserstein distance between them under suitable assumptions on the model. Specifically, we prove that the Wasserstein distance is upper bounded by the square root of the objective function up to multiplicative constants and a fixed constant offset. Our proof is based on a novel application of the theory of optimal transport, which can be of independent interest to the society. Our numerical experiments support our findings. By analyzing our upper bounds, we provide a few techniques to obtain tighter upper bounds.
• Abstract（参考訳）: スコアに基づく生成モデルは、画像生成や音声合成などの様々なアプリケーションにおいて顕著な経験的性能を達成することが示されている。 しかし、スコアに基づく拡散モデルの理論的理解はまだ不完全である。 近年,songらは,スコアベース生成モデルの学習目的は,生成した分布のkullback-leibler発散をデータ分布から最小化することと同値であることを示した。 本研究では,スコアベースモデルがモデル上の適切な仮定の下でのwasserstein距離を最小化することを示す。 具体的には、ワッサーシュタイン距離が乗法定数と固定定数オフセットまで対象関数の平方根によって上界であることが証明される。 我々の証明は、社会に独立した関心を持つことのできる最適輸送理論の新たな応用に基づいている。 我々の数値実験は我々の発見を裏付ける。 上限を解析することにより、より厳密な上限を得るためのいくつかの技術を提供する。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory [87.00653989457834]
  条件付き拡散モデルは現代の画像合成の基礎となり、計算生物学や強化学習などの分野に広く応用されている。 経験的成功にもかかわらず、条件拡散モデルの理論はほとんど欠落している。 本稿では,条件拡散モデルを用いた分布推定の急激な統計的理論を提示することにより,ギャップを埋める。
  論文  参考訳（メタデータ） (2024-03-18T17:08:24Z)
• Statistically Optimal Generative Modeling with Maximum Deviation from the Empirical Distribution [2.1146241717926664]
  本稿では, 左非可逆なプッシュフォワード写像に制約されたワッサーシュタインGANが, 複製を回避し, 経験的分布から著しく逸脱する分布を生成することを示す。 我々の最も重要な寄与は、生成分布と経験的分布の間のワッサーシュタイン-1距離の有限サンプル下界を与える。 また、生成分布と真のデータ生成との距離に有限サンプル上限を確立する。
  論文  参考訳（メタデータ） (2023-07-31T06:11:57Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
  拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。 実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
  論文  参考訳（メタデータ） (2023-03-03T11:31:55Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Convergence of denoising diffusion models under the manifold hypothesis [3.096615629099617]
  デノイング拡散モデル(Denoising diffusion model)は、画像および音声合成における最先端性能を示す最近の生成モデルのクラスである。 本稿では、拡散モデルに対するより一般的な設定での最初の収束結果を提供する。
  論文  参考訳（メタデータ） (2022-08-10T12:50:47Z)
• Deep Generative Learning via Schr\"{o}dinger Bridge [14.138796631423954]
  エントロピーにより生成モデルをSchr"odinger Bridgeで学習する。 Schr"odinger Bridge による生成モデルは最先端の GAN に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-06-19T03:35:42Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。