論文の概要: Diffusion Models Generate Images Like Painters: an Analytical Theory of
Outline First, Details Later
- arxiv url: http://arxiv.org/abs/2303.02490v1
- Date: Sat, 4 Mar 2023 20:08:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-07 19:20:44.976971
- Title: Diffusion Models Generate Images Like Painters: an Analytical Theory of
Outline First, Details Later
- Title(参考訳): 拡散モデルが画家のようなイメージを生成する:まずアウトラインの分析理論、その後の詳細
- Authors: Binxu Wang, John J. Vastola
- Abstract要約: 生成はまずアウトラインにコミットし、さらに詳細をきめ細やかにする必要がある、と私たちは主張します。
対応する逆拡散過程は、ガウスモードで満たされた高次元ランドスケープ上のダイナミクスによってモデル化することができる。
安定拡散のような様々な訓練された無条件および条件拡散モデルの挙動はこれらの予測と一致していることを示す。
- 参考スコア(独自算出の注目度): 3.8073142980733
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How do diffusion generative models convert pure noise into meaningful images?
We argue that generation involves first committing to an outline, and then to
finer and finer details. The corresponding reverse diffusion process can be
modeled by dynamics on a (time-dependent) high-dimensional landscape full of
Gaussian-like modes, which makes the following predictions: (i) individual
trajectories tend to be very low-dimensional; (ii) scene elements that vary
more within training data tend to emerge earlier; and (iii) early perturbations
substantially change image content more often than late perturbations. We show
that the behavior of a variety of trained unconditional and conditional
diffusion models like Stable Diffusion is consistent with these predictions.
Finally, we use our theory to search for the latent image manifold of diffusion
models, and propose a new way to generate interpretable image variations. Our
viewpoint suggests generation by GANs and diffusion models have unexpected
similarities.
- Abstract(参考訳): 拡散生成モデルは純粋雑音を意味のある画像に変換するか?
世代はまずアウトラインにコミットし、次により細かい詳細をコミットする、と主張する。
対応する逆拡散過程は、ガウスモードで満たされた(時間に依存した)高次元の風景のダイナミクスによってモデル化することができる。
(i)個々の軌道は非常に低次元である傾向がある。
(ii)訓練データ内でより異なるシーン要素がより早く出現する傾向があること。
(3)早期摂動は後期摂動よりも画像内容が大きく変化する。
安定拡散のような様々な訓練された無条件および条件拡散モデルの挙動はこれらの予測と一致していることを示す。
最後に,本理論を用いて拡散モデルの潜在像多様体を探索し,解釈可能な画像変動を生成する新しい方法を提案する。
我々はganと拡散モデルによる生成が予期せぬ類似性を持つことを示唆する。
関連論文リスト
- Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - Unbiased Image Synthesis via Manifold-Driven Sampling in Diffusion
Models [24.610977739714134]
拡散モデルは、高品質な画像を生成することができる強力な生成モデルのクラスである。
データバイアスに関連する問題に直面し、特定のデータモードを優先する。
本稿では,拡散モデルにおけるデータバイアスを軽減するために,多様体誘導を利用した新しい手法を提案する。
論文 参考訳(メタデータ) (2023-07-17T02:03:17Z) - Bi-Noising Diffusion: Towards Conditional Diffusion Models with
Generative Restoration Priors [64.24948495708337]
本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。
我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
論文 参考訳(メタデータ) (2022-12-14T17:26:35Z) - SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。
SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。
第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
論文 参考訳(メタデータ) (2022-11-22T18:00:03Z) - Unifying Diffusion Models' Latent Space, with Applications to
CycleDiffusion and Guidance [95.12230117950232]
関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。
テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
論文 参考訳(メタデータ) (2022-10-11T15:53:52Z) - Diffusion Models in Vision: A Survey [80.82832715884597]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳(メタデータ) (2022-09-10T22:00:30Z) - Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise [52.59444045853966]
画像劣化の選択を変更すれば,生成モデル全体のファミリを構築することができることを示す。
完全な決定論的モデルの成功は、拡散モデルに対するコミュニティの理解に疑問を投げかける。
論文 参考訳(メタデータ) (2022-08-19T15:18:39Z) - Generative Modelling With Inverse Heat Dissipation [21.738877553160304]
本研究では,熱方程式を逆転させて画像を生成する拡散様モデルを提案する。PDEは,画像の2次元平面上での走行時に,微細な情報を消去する。
我々の新しいモデルでは、標準拡散モデルでは見られない創発的特性が示され、例えば画像の全体色と形状が乱れている。
論文 参考訳(メタデータ) (2022-06-21T13:40:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。