論文の概要: Tightening the Score Matching Gap for Diffusion Models

• arxiv url: http://arxiv.org/abs/2607.04442v1
• Date: Sun, 05 Jul 2026 18:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.933009
• Title: Tightening the Score Matching Gap for Diffusion Models
• Title（参考訳）: 拡散モデルにおけるスコアマッチングギャップの強化
• Authors: Benjamin Dupuis, Tyler Farghly, Maxime Haddouche, Alain Durmus, Umut Simsekli,
• Abstract要約: 我々は、KLの発散、逆KLの発散、ワッサーシュタイン距離の3つの指標に対してより厳密な境界を開発する。 以上の結果から,低騒音尺度のスコアマッチングギャップを閉じることに,スコア近似の品質がより大きな影響を与えることが示唆された。
• 参考スコア（独自算出の注目度）: 33.16787042554974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models (DMs) are a state-of-the-art generative method to approximately sample from an unknown distribution. Their training and evaluation primarily rely on an Evidence Lower Bound (ELBO), which relates the Kullback-Leibler (KL) divergence of model samples to the score matching loss along the path, which serves as a tractable surrogate. The difference between sample quality and the score matching loss produced by this bound leads to the \emph{score matching gap}, which is known to be tight in the worst-case but not descriptive of sample quality in general. In this work, we provide a theoretical analysis of this gap, developing tighter bounds for three metrics: KL divergence, reverse KL divergence, and Wasserstein distance, effectively exploiting the regularity of the class of score estimators. Our results suggest that the quality of the score approximation has more impact on closing the score matching gap for low noise scales. To obtain these bounds, our key technical insight is to exploit the contraction properties of the backward processes. In particular, we rely on entropy flows, logarithmic Sobolev inequalities and reflection couplings, rigorously linking the ergodicity of the Langevin diffusion to the score matching gap problem.
• Abstract（参考訳）: 拡散モデル (DM) は、未知の分布からおよそサンプルを採取するための最先端の生成法である。 彼らのトレーニングと評価は、主にEvidence Lower Bound (ELBO) に依存しており、これはモデルサンプルのKullback-Leibler (KL) の分散と、経路に沿ったスコアマッチング損失を関連付けており、これはトラクタブル・サロゲート(英語版)として機能する。 この境界によって生じるサンプルの品質とスコアの一致損失の違いは、最悪ケースでは厳密であるが、一般にサンプルの品質を記述していないことで知られる 'emph{score matching gap} に繋がる。 本研究では、このギャップの理論的解析を行い、KLの発散、逆KLの発散、ワッサーシュタイン距離の3つの指標のより厳密な境界を発達させ、スコア推定器のクラスの正則性を効果的に活用する。 以上の結果から,低騒音尺度のスコアマッチングギャップを閉じることに,スコア近似の品質がより大きな影響を与えることが示唆された。 これらの境界を得るために、我々の重要な技術的洞察は、後方プロセスの収縮特性を利用することである。 特に、エントロピーフロー、対数的ソボレフ不等式、反射結合に頼り、ランゲヴィン拡散のエルゴディディティをスコアマッチングギャップ問題に厳密にリンクする。

関連論文リスト

• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Variance-Reduced Diffusion Sampling via Target Score Identity [0.0]
  クリーンな(ターゲット)スコアが利用可能か,あるいは近似可能な設定において,スコア推定と拡散に基づくサンプリングの分散化について検討した。 我々は、標準の逆時間解法と互換性のあるプラグアンドプレイ非パラメトリックな自己正規化重要度サンプリング推定器を開発した。 PDE-Governed Inverse問題と合成ターゲット実験により, 固定シミュレーション予算に対する試料品質の改善が示された。
  論文  参考訳（メタデータ） (2026-01-04T16:46:31Z)
• The Effect of Stochasticity in Score-Based Diffusion Sampling: a KL Divergence Analysis [0.0]
  我々はKL(Kulback-Leibler)の生成過程に及ぼすばらつきの影響について検討する。 本研究の主な成果は、加算雑音とリプシッツ連続スコア関数を持つ線形前方SDEに適用する。
  論文  参考訳（メタデータ） (2025-06-13T01:01:07Z)
• A Connection Between Learning to Reject and Bhattacharyya Divergences [57.942664964198286]
  インプットとラベルの両面で共同理想分布を学習することを検討する。 我々は、拒絶と統計的相違の閾値付けを関連づける。 一般に、バタチャリアの発散による拒絶は、Chowのルールよりも攻撃的でないことが分かる。
  論文  参考訳（メタデータ） (2025-05-08T14:18:42Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• An analysis of the noise schedule for score-based generative models [7.180235086275926]
  スコアベース生成モデル(SGM)は、目標からのノイズ摂動サンプルのみを用いてスコア関数を学習することにより、目標データ分布を推定することを目的としている。 近年の文献では、ターゲットと推定分布の誤差を評価し、KL(Kulback-Leibler)の発散とワッサーシュタイン距離を通じて生成品質を測ることに重点を置いている。 対象と推定分布のKL分散の上限を時間依存ノイズスケジュールによって明確に設定する。
  論文  参考訳（メタデータ） (2024-02-07T08:24:35Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。