論文の概要: Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study

• arxiv url: http://arxiv.org/abs/2505.22841v1
• Date: Wed, 28 May 2025 20:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.523944
• Title: Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study
• Title（参考訳）: 拡散障害に対するカーネル・スムーススコアの検討
• Authors: Franck Gabriel, François Ged, Maria Han Veiga, Emmanuel Schertzer,
• Abstract要約: 拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
• 参考スコア（独自算出の注目度）: 3.265950484493743
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion models now set the benchmark in high-fidelity generative sampling, yet they can, in principle, be prone to memorization. In this case, their learned score overfits the finite dataset so that the reverse-time SDE samples are mostly training points. In this paper, we interpret the empirical score as a noisy version of the true score and show that its covariance matrix is asymptotically a re-weighted data PCA. In large dimension, the small time limit makes the noise variance blow up while simultaneously reducing spatial correlation. To reduce this variance, we introduce a kernel-smoothed empirical score and analyze its bias-variance trade-off. We derive asymptotic bounds on the Kullback-Leibler divergence between the true distribution and the one generated by the modified reverse SDE. Regularization on the score has the same effect as increasing the size of the training dataset, and thus helps prevent memorization. A spectral decomposition of the forward diffusion suggests better variance control under some regularity conditions of the true data distribution. Reverse diffusion with kernel-smoothed empirical score can be reformulated as a gradient descent drifted toward a Log-Exponential Double-Kernel Density Estimator (LED-KDE). This perspective highlights two regularization mechanisms taking place in denoising diffusions: an initial Gaussian kernel first diffuses mass isotropically in the ambient space, while a second kernel applied in score space concentrates and spreads that mass along the data manifold. Hence, even a straightforward regularization-without any learning-already mitigates memorization and enhances generalization. Numerically, we illustrate our results with several experiments on synthetic and MNIST datasets.
• Abstract（参考訳）: 拡散モデルは、このベンチマークを高忠実な生成サンプリングに設定するが、原則として暗記しがちである。 この場合、学習したスコアは有限データセットに適合し、逆時間SDEサンプルは主にトレーニングポイントとなる。 本稿では,経験的スコアを真のスコアのノイズバージョンとして解釈し,その共分散行列が漸近的に再重み付きデータPCAであることを示す。 大きな次元では、小さな時間制限がノイズ分散を爆発させ、同時に空間的相関を減少させる。 この分散を低減するために、カーネルスムースな経験スコアを導入し、バイアス分散トレードオフを分析する。 修正逆SDEにより生成された実分布と実分布の間のクルバック・リーブラー分岐の漸近境界を導出する。 スコアの正規化はトレーニングデータセットのサイズを増大させるのと同じ効果があり、暗記を防ぐのに役立つ。 前方拡散のスペクトル分解は、真のデータ分布の正則性条件下でのより良い分散制御を示唆する。 カーネル平滑な経験的スコアによる逆拡散は、ログ指数二重カーネル密度推定器(LED-KDE)へドリフトする勾配降下として再計算することができる。 初期ガウス核は周囲空間において質量を等方的に拡散させ、一方、スコア空間に適用された第2のカーネルはデータ多様体に沿って質量を集中して拡散させる。 したがって、素直な正則化さえも、学習を必要とせずに記憶を減らし、一般化を強化する。 数値解析により,合成およびMNISTデータセットに関するいくつかの実験を行った。

関連論文リスト

• Ensemble Kalman filter in latent space using a variational autoencoder pair [0.2383122657918106]
  可変オートエンコーダ(VAE)は機械学習(ML)技術で、任意の分布を潜在空間へ/からマッピングすることができる。 本稿では,VAEをDA手順に組み込んだ新しいハイブリッドDA-ML手法を提案する。
  論文  参考訳（メタデータ） (2025-02-18T16:11:05Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
  相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
  論文  参考訳（メタデータ） (2024-10-16T07:33:12Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。