論文の概要: A Unified View of Drifting and Score-Based Models

• arxiv url: http://arxiv.org/abs/2603.07514v1
• Date: Sun, 08 Mar 2026 07:41:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:14.703508
• Title: A Unified View of Drifting and Score-Based Models
• Title（参考訳）: ドリフトとスコアベースモデルの統一的視点
• Authors: Chieh-Hsin Lai, Bac Nguyen, Naoki Murata, Yuhta Takida, Toshimitsu Uesaka, Yuki Mitsufuji, Stefano Ermon, Molei Tao,
• Abstract要約: ドリフトがカーネル平滑分布にスコアベースの定式化を許すことを示すことにより,拡散モデルの背後にあるスコアマッチング原理との関係を正確にする。 一般的なラプラス核に対して正確な分解を導出し、ラプラス核に対してドリフトが低温および高次元状態におけるスコアマッチングの正確なプロキシであることを示す厳密な誤差境界を証明した。
• 参考スコア（独自算出の注目度）: 92.51878018325031
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Drifting models train one-step generators by optimizing a mean-shift discrepancy induced by a kernel between the data and model distributions, with Laplace kernels used by default in practice. At each point, this discrepancy compares the kernel-weighted displacement toward nearby data samples with the corresponding displacement toward nearby model samples, yielding a transport direction for generated samples. In this paper, we make its relationship to the score-matching principle behind diffusion models precise by showing that drifting admits a score-based formulation on kernel-smoothed distributions. For Gaussian kernels, the population mean-shift field coincides with the score difference between the Gaussian-smoothed data and model distributions. This identity follows from Tweedie's formula, which links the score of a Gaussian-smoothed density to the corresponding conditional mean, and implies that Gaussian-kernel drifting is exactly a score-matching-style objective on smoothed distributions. It also clarifies the connection to Distribution Matching Distillation (DMD): both methods use score-mismatch transport directions, but drifting realizes the score signal nonparametrically from kernel neighborhoods, whereas DMD uses a pretrained diffusion teacher. Beyond Gaussians, we derive an exact decomposition for general radial kernels, and for the Laplace kernel we prove rigorous error bounds showing that drifting remains an accurate proxy for score matching in low-temperature and high-dimensional regimes.
• Abstract（参考訳）: ドリフトモデルは、データとモデル分布の間のカーネルによって誘導される平均シフト差を最適化することで、ワンステップジェネレータを訓練する。 各点において、この差は、近傍のサンプルに対するカーネル重み付き変位と、隣接するサンプルに対する対応する変位とを比較し、生成されたサンプルに対する輸送方向を生成する。 本稿では, 拡散モデルの背後にあるスコアマッチング原理と, ドリフトがカーネル平滑分布上でのスコアベースの定式化を許容することを示すことによって, その関係性を示す。 ガウス核の場合、集団平均シフト場はガウス平滑なデータとモデル分布のスコア差と一致する。 この恒等式は、ガウス-滑らかな密度のスコアと対応する条件平均を結びつけるツイーディの公式に従い、ガウス-カーネルドリフトがちょうど滑らかな分布上のスコアマッチングスタイルの目的であることを示唆している。 いずれの方法もスコアミスマッチ輸送方向を用いるが、ドリフトはカーネル近傍から非パラメトリックにスコア信号を実現する一方、DMDは事前訓練された拡散教師を使用する。 ガウスの他には、一般的なラプラス核の正確な分解を導き、ラプラス核では、ドリフトが低温および高次元状態におけるスコアマッチングの正確なプロキシであることを示す厳密な誤差境界を証明している。

関連論文リスト

• Kernel-Smoothed Scores for Denoising Diffusion: A Bias-Variance Study [3.265950484493743]
  拡散モデルは暗記しがちである。 スコアの正規化は、トレーニングデータセットのサイズを増やすのと同じ効果がある。 この視点は、拡散をデノナイズする2つの規則化機構を強調する。
  論文  参考訳（メタデータ） (2025-05-28T20:22:18Z)
• On the Wasserstein Convergence and Straightness of Rectified Flow [54.580605276017096]
  Rectified Flow (RF) は、ノイズからデータへの直流軌跡の学習を目的とした生成モデルである。 RFのサンプリング分布とターゲット分布とのワッサーシュタイン距離に関する理論的解析を行った。 本稿では,従来の経験的知見と一致した1-RFの特異性と直線性を保証する一般的な条件について述べる。
  論文  参考訳（メタデータ） (2024-10-19T02:36:11Z)
• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  一般のスコアミスマッチ拡散サンプリング器に対する明示的な次元依存性を持つ最初の性能保証を示す。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Deep Generative Learning via Schr\"{o}dinger Bridge [14.138796631423954]
  エントロピーにより生成モデルをSchr"odinger Bridgeで学習する。 Schr"odinger Bridge による生成モデルは最先端の GAN に匹敵することを示す。
  論文  参考訳（メタデータ） (2021-06-19T03:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。