論文の概要: Random Walks with Tweedie: A Unified View of Score-Based Diffusion Models
- arxiv url: http://arxiv.org/abs/2411.18702v2
- Date: Mon, 07 Jul 2025 23:20:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-09 16:34:36.735048
- Title: Random Walks with Tweedie: A Unified View of Score-Based Diffusion Models
- Title(参考訳): Tweedieによるランダムウォーク:スコアベース拡散モデルの統一ビュー
- Authors: Chicago Y. Park, Michael T. McCann, Cristina Garcia-Cardona, Brendt Wohlberg, Ulugbek S. Kamilov,
- Abstract要約: 拡散モデルは、現実的な合成信号を生成する強力なツールとして登場した。
本論文では,数個の教科書結果にのみ依存する,有意なスコアベース拡散モデルに対する簡潔な導出について述べる。
- 参考スコア(独自算出の注目度): 11.161487364062667
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a concise derivation for several influential score-based diffusion models that relies on only a few textbook results. Diffusion models have recently emerged as powerful tools for generating realistic, synthetic signals -- particularly natural images -- and often play a role in state-of-the-art algorithms for inverse problems in image processing. While these algorithms are often surprisingly simple, the theory behind them is not, and multiple complex theoretical justifications exist in the literature. Here, we provide a simple and largely self-contained theoretical justification for score-based diffusion models that is targeted towards the signal processing community. This approach leads to generic algorithmic templates for training and generating samples with diffusion models. We show that several influential diffusion models correspond to particular choices within these templates and demonstrate that alternative, more straightforward algorithmic choices can provide comparable results. This approach has the added benefit of enabling conditional sampling without any likelihood approximation.
- Abstract(参考訳): 本論文では,数個の教科書結果にのみ依存する,有意なスコアベース拡散モデルに対する簡潔な導出について述べる。
拡散モデルは、最近、現実的で合成された信号(特に自然画像)を生成する強力なツールとして登場し、画像処理における逆問題に対する最先端のアルゴリズムにおいて、しばしば重要な役割を果たしている。
これらのアルゴリズムはしばしば驚くほど単純であるが、それらの背後にある理論はそうではない。
本稿では,信号処理コミュニティを対象とするスコアベース拡散モデルに対して,単純かつほぼ自己完結した理論的正当性を提供する。
このアプローチは、拡散モデルを用いてサンプルをトレーニングし、生成するための一般的なアルゴリズムテンプレートをもたらす。
いくつかの影響力のある拡散モデルがテンプレート内の特定の選択に対応し、より簡単なアルゴリズムの選択が同等の結果が得られることを示す。
このアプローチは、任意の近似を伴わずに条件付きサンプリングを可能にするという利点を付加する。
関連論文リスト
- Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。
我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。
本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
論文 参考訳(メタデータ) (2025-01-09T16:50:16Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳(メタデータ) (2024-10-17T16:42:12Z) - Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。
これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。
提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
論文 参考訳(メタデータ) (2024-08-15T16:47:59Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Renormalizing Diffusion Models [0.7252027234425334]
拡散モデルを用いて、統計および量子場理論の逆再正規化群フローを学習する。
我々の研究は、多スケール拡散モデルの解釈を提供し、新しい性質を持つべき拡散モデルに対する物理的に着想を得た提案を与える。
論文 参考訳(メタデータ) (2023-08-23T18:02:31Z) - Infinite-Dimensional Diffusion Models [4.342241136871849]
拡散に基づく生成モデルを無限次元で定式化し、関数の生成モデルに適用する。
我々の定式化は無限次元の設定においてよく成り立っていることを示し、サンプルから目標測度への次元非依存距離境界を提供する。
また,無限次元拡散モデルの設計ガイドラインも作成する。
論文 参考訳(メタデータ) (2023-02-20T18:00:38Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - On Distillation of Guided Diffusion Models [94.95228078141626]
そこで本研究では,分類器を含まない誘導拡散モデルから抽出し易いモデルへ抽出する手法を提案する。
画素空間上で訓練された標準拡散モデルに対して,本手法は元のモデルに匹敵する画像を生成することができる。
遅延空間で訓練された拡散モデル(例えば、安定拡散)に対して、我々の手法は1から4段階のデノナイジングステップで高忠実度画像を生成することができる。
論文 参考訳(メタデータ) (2022-10-06T18:03:56Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。