論文の概要: Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study

• arxiv url: http://arxiv.org/abs/2505.22841v1
• Date: Wed, 28 May 2025 20:22:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.523944
• Title: Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study
• Title（参考訳）: 拡散障害に対するカーネル・スムーススコアの検討
• Abstract要約: 拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
• 参考スコア（独自算出の注目度）: 3.265950484493743
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Diffusion models now set the benchmark in high-fidelity generative sampling, yet they can, in principle, be prone to memorization. In this case, their learned score overfits the finite dataset so that the reverse-time SDE samples are mostly training points. In this paper, we interpret the empirical score as a noisy version of the true score and show that its covariance matrix is asymptotically a re-weighted data PCA. In large dimension, the small time limit makes the noise variance blow up while simultaneously reducing spatial correlation. To reduce this variance, we introduce a kernel-smoothed empirical score and analyze its bias-variance trade-off. We derive asymptotic bounds on the Kullback-Leibler divergence between the true distribution and the one generated by the modified reverse SDE. Regularization on the score has the same effect as increasing the size of the training dataset, and thus helps prevent memorization. A spectral decomposition of the forward diffusion suggests better variance control under some regularity conditions of the true data distribution. Reverse diffusion with kernel-smoothed empirical score can be reformulated as a gradient descent drifted toward a Log-Exponential Double-Kernel Density Estimator (LED-KDE). This perspective highlights two regularization mechanisms taking place in denoising diffusions: an initial Gaussian kernel first diffuses mass isotropically in the ambient space, while a second kernel applied in score space concentrates and spreads that mass along the data manifold. Hence, even a straightforward regularization-without any learning-already mitigates memorization and enhances generalization. Numerically, we illustrate our results with several experiments on synthetic and MNIST datasets.
• Abstract（参考訳）: 拡散モデルは、このベンチマークを高忠実な生成サンプリングに設定するが、原則として暗記しがちである。 この場合、学習したスコアは有限データセットに適合し、逆時間SDEサンプルは主にトレーニングポイントとなる。 本稿では,経験的スコアを真のスコアのノイズバージョンとして解釈し,その共分散行列が漸近的に再重み付きデータPCAであることを示す。 大きな次元では、小さな時間制限がノイズ分散を爆発させ、同時に空間的相関を減少させる。 この分散を低減するために、カーネルスムースな経験スコアを導入し、バイアス分散トレードオフを分析する。 修正逆SDEにより生成された実分布と実分布の間のクルバック・リーブラー分岐の漸近境界を導出する。 スコアの正規化はトレーニングデータセットのサイズを増大させるのと同じ効果があり、暗記を防ぐのに役立つ。 前方拡散のスペクトル分解は、真のデータ分布の正則性条件下でのより良い分散制御を示唆する。 カーネル平滑な経験的スコアによる逆拡散は、ログ指数二重カーネル密度推定器(LED-KDE)へドリフトする勾配降下として再計算することができる。 初期ガウス核は周囲空間において質量を等方的に拡散させ、一方、スコア空間に適用された第2のカーネルはデータ多様体に沿って質量を集中して拡散させる。 したがって、素直な正則化さえも、学習を必要とせずに記憶を減らし、一般化を強化する。 数値解析により,合成およびMNISTデータセットに関するいくつかの実験を行った。

関連論文リスト

• Posterior Information Dynamics of Diffusion Models for Linear Inverse Problems [11.548853370822343]
  本研究は,各ノイズレベルにおいて,円滑な確率力,正確な後方値と先行値の差について検討する。 測定値の平均化は情報最小平均二乗誤差(I-MMSE)と情報ゲインをデノナイジングエラーの低減に結び付ける。
  論文  参考訳（メタデータ） (2026-08-22T00:53:42Z)
• From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models [58.02657021435213]
  我々は、Gibs-Accelerated Discrete Diffusion (GADD)と呼ばれる離散拡散モデルのための新しいGibsベースの修正器を提案する。 我々はGADDが$mathcalO(mathrmpolylog (varepsilon-1)$の総合的なサンプリング複雑性を達成し、均一レートの離散拡散モデルに対する拡散に基づくサンプリング者にとって最初のレートとなることを示す。
  論文  参考訳（メタデータ） (2026-05-26T17:52:28Z)
• Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
  拡散モデルは、顕著な品質で高次元データを生成する。 彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。 我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
  論文  参考訳（メタデータ） (2026-05-16T16:51:10Z)
• Measuring and Decomposing Mode Separation via the Canonical Diffusion [0.0]
  モード分離は密度の基本的な幾何学的性質であり、高次元での定量化が難しい。 密度に固有の1つのプロセスを通してモード分離を測定する。 i)合成ガウス混合物,(ii)SDXLテキスト・トゥ・イメージ世代,(ii)SSAとDAがエントロピーとPCAミスを捉えた構造,(iii)アラニンジペプチドの分子動力学,(iii)DAは静的サンプルから既知の遅いバックボーンを回収する。
  論文  参考訳（メタデータ） (2026-05-09T08:05:55Z)
• A Unified View of Drifting and Score-Based Models [92.51878018325031]
  ドリフトがカーネル平滑分布にスコアベースの定式化を許すことを示すことにより,拡散モデルの背後にあるスコアマッチング原理との関係を正確にする。 一般的なラプラス核に対して正確な分解を導出し、ラプラス核に対してドリフトが低温および高次元状態におけるスコアマッチングの正確なプロキシであることを示す厳密な誤差境界を証明した。
  論文  参考訳（メタデータ） (2026-03-08T07:41:36Z)
• Learning What Matters: Steering Diffusion via Spectrally Anisotropic Forward Noise [43.07594740645669]
  Diffusion Probabilistic Models (DPM) は強力な生成性能を達成しているが、その帰納的バイアスは大半が暗黙的である。 本研究では,拡散モデルのトレーニングとサンプリングに帰納的バイアスを組み込むことにより,モデルの目的とするデータ分布をよりよく適応することを目的とする。 異方性前方共分散を周波数対角共分散に置き換えることで、これらのバイアスを形作る異方性雑音演算子を導入する。
  論文  参考訳（メタデータ） (2025-10-07T16:08:39Z)
• Authentic Discrete Diffusion Model [72.31371542619121]
  認証離散拡散(ADD)フレームワークは、従来の擬似離散的アプローチを再定義する。 ADDはフロートエンコードされたワンホットクラスデータを直接使用して拡散入力を再構成する。 実験により、ADDはベースラインと比較して分類タスクにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-01T15:51:10Z)
• Beyond Scores: Proximal Diffusion Models [10.27283386401996]
  対数密度の近似演算子を学習するために, 近似拡散モデル (ProxDM) を開発した。 ProxDMの2つの変種は,従来のスコアマッチング法と比較して,わずか数ステップで大幅に高速化された。
  論文  参考訳（メタデータ） (2025-07-11T18:30:09Z)
• An Analytical Theory of Spectral Bias in the Learning Dynamics of Diffusion Models [29.972063833424215]
  本研究では,拡散モデル学習中に生成した分布がどのように進化するかを理解するための解析的枠組みを開発する。 結果の確率フローODEを統合し、生成した分布の解析式を生成する。
  論文  参考訳（メタデータ） (2025-03-05T05:50:38Z)
• Ensemble Kalman filter in latent space using a variational autoencoder pair [0.2383122657918106]
  可変オートエンコーダ(VAE)は機械学習(ML)技術で、任意の分布を潜在空間へ/からマッピングすることができる。 本稿では,VAEをDA手順に組み込んだ新しいハイブリッドDA-ML手法を提案する。
  論文  参考訳（メタデータ） (2025-02-18T16:11:05Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• On the Relation Between Linear Diffusion and Power Iteration [42.158089783398616]
  相関機械として生成過程を研究する」 生成過程の早い段階で低周波が出現し, 固有値に依存する速度で, 偏極基底ベクトルが真のデータにより整合していることが示される。 このモデルにより、線形拡散モデルが、一般的な電力反復法と同様に、基礎データの先頭固有ベクトルに平均的に収束することを示すことができる。
  論文  参考訳（メタデータ） (2024-10-16T07:33:12Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Denoising Diffusion Samplers [41.796349001299156]
  拡散モデルの認知は、多くの領域で最先端の結果を提供する生成モデルの一般的なクラスである。 我々は、非正規化確率密度関数から大まかにサンプリングし、それらの正規化定数を推定する類似のアイデアを探求する。 この文脈ではスコアマッチングは適用できないが、モンテカルロサンプリングのために生成的モデリングで導入された多くのアイデアを利用することができる。
  論文  参考訳（メタデータ） (2023-02-27T14:37:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime [32.65347128465841]
  深層ニューラルネットワークは、トレーニングデータを完璧に補間しながら、素晴らしいパフォーマンスを達成することができる。 バイアス分散トレードオフのU曲線ではなく、テストエラーはしばしば「二重降下」に従う。 我々は、ニューラルネットワークのいわゆる遅延学習システムにおいて、この現象の定量的理論を開発する。
  論文  参考訳（メタデータ） (2020-03-02T17:39:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。