論文の概要: Random Walks with Tweedie: A Unified Framework for Diffusion Models
- arxiv url: http://arxiv.org/abs/2411.18702v1
- Date: Wed, 27 Nov 2024 19:13:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:23:02.020795
- Title: Random Walks with Tweedie: A Unified Framework for Diffusion Models
- Title(参考訳): Randomが拡散モデルのための統一フレームワークTweedieを発表
- Authors: Chicago Y. Park, Michael T. McCann, Cristina Garcia-Cardona, Brendt Wohlberg, Ulugbek S. Kamilov,
- Abstract要約: 本稿では,拡散サンプリングをランダムウォークのシーケンスとして解釈し,生成拡散モデルアルゴリズムを設計するための簡単なテンプレートを提案する。
いくつかの既存の拡散モデルがこのテンプレート内の特定の選択に対応することを示し、他のより単純なアルゴリズム的選択が効果的な拡散モデルをもたらすことを示す。
- 参考スコア(独自算出の注目度): 11.161487364062667
- License:
- Abstract: We present a simple template for designing generative diffusion model algorithms based on an interpretation of diffusion sampling as a sequence of random walks. Score-based diffusion models are widely used to generate high-quality images. Diffusion models have also been shown to yield state-of-the-art performance in many inverse problems. While these algorithms are often surprisingly simple, the theory behind them is not, and multiple complex theoretical justifications exist in the literature. Here, we provide a simple and largely self-contained theoretical justification for score-based-diffusion models that avoids using the theory of Markov chains or reverse diffusion, instead centering the theory of random walks and Tweedie's formula. This approach leads to unified algorithmic templates for network training and sampling. In particular, these templates cleanly separate training from sampling, e.g., the noise schedule used during training need not match the one used during sampling. We show that several existing diffusion models correspond to particular choices within this template and demonstrate that other, more straightforward algorithmic choices lead to effective diffusion models. The proposed framework has the added benefit of enabling conditional sampling without any likelihood approximation.
- Abstract(参考訳): 本稿では,拡散サンプリングをランダムウォークのシーケンスとして解釈し,生成拡散モデルアルゴリズムを設計するための簡単なテンプレートを提案する。
スコアベース拡散モデルは高品質な画像を生成するために広く利用されている。
拡散モデルはまた、多くの逆問題において最先端の性能をもたらすことが示されている。
これらのアルゴリズムはしばしば驚くほど単純であるが、それらの背後にある理論はそうではない。
ここでは、マルコフ連鎖の理論や逆拡散を回避し、代わりにランダムウォーク理論とツイーディの公式を中心とするスコアベース拡散モデルに対して、単純で大まかに自己完結した理論的正当性を提供する。
このアプローチは、ネットワークトレーニングとサンプリングのための統合されたアルゴリズムテンプレートにつながる。
特に、これらのテンプレートはサンプリングからトレーニングをきれいに分離する。例えば、トレーニング中に使用するノイズスケジュールはサンプリング時に使用するものと一致しない。
いくつかの既存の拡散モデルがこのテンプレート内の特定の選択に対応することを示し、他のより単純なアルゴリズム的選択が効果的な拡散モデルをもたらすことを示す。
提案フレームワークは, 近似を伴わない条件付きサンプリングを可能にするという利点を付加した。
関連論文リスト
- Accelerated Diffusion Models via Speculative Sampling [89.43940130493233]
投機的サンプリングは、大規模言語モデルにおける推論を加速する一般的な手法である。
我々は投機的サンプリングを拡散モデルに拡張し、連続したベクトル値のマルコフ連鎖を介してサンプルを生成する。
本稿では,ドラフトモデルをトレーニングする必要のない,シンプルで効果的なアプローチを含む,さまざまなドラフト戦略を提案する。
論文 参考訳(メタデータ) (2025-01-09T16:50:16Z) - Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳(メタデータ) (2024-10-17T16:42:12Z) - Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。
これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。
提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
論文 参考訳(メタデータ) (2024-08-15T16:47:59Z) - Renormalizing Diffusion Models [0.7252027234425334]
拡散モデルを用いて、統計および量子場理論の逆再正規化群フローを学習する。
我々の研究は、多スケール拡散モデルの解釈を提供し、新しい性質を持つべき拡散モデルに対する物理的に着想を得た提案を与える。
論文 参考訳(メタデータ) (2023-08-23T18:02:31Z) - Infinite-Dimensional Diffusion Models [4.342241136871849]
拡散に基づく生成モデルを無限次元で定式化し、関数の生成モデルに適用する。
我々の定式化は無限次元の設定においてよく成り立っていることを示し、サンプルから目標測度への次元非依存距離境界を提供する。
また,無限次元拡散モデルの設計ガイドラインも作成する。
論文 参考訳(メタデータ) (2023-02-20T18:00:38Z) - Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
拡散モデルの高速サンプリング法であるMDD-DDMを提案する。
我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。
提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
論文 参考訳(メタデータ) (2023-01-19T09:48:07Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳(メタデータ) (2022-06-10T15:09:46Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳(メタデータ) (2021-10-20T12:25:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。