論文の概要: Diffusion Models Generate Images Like Painters: an Analytical Theory of Outline First, Details Later

• arxiv url: http://arxiv.org/abs/2303.02490v2
• Date: Tue, 26 Mar 2024 03:41:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 01:49:43.751169
• Title: Diffusion Models Generate Images Like Painters: an Analytical Theory of Outline First, Details Later
• Title（参考訳）: 絵画のような画像を生成する拡散モデル:アウトラインファーストの分析理論
• Authors: Binxu Wang, John J. Vastola,
• Abstract要約: 画像生成の基盤となる逆拡散過程には,以下の特性がある。 個々の軌道は低次元であり、2次元回転に似ている」。 本手法は,事前学習したモデルに対する画像生成の初期フェーズを正確に記述する。
• 参考スコア（独自算出の注目度）: 1.8416014644193066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do diffusion generative models convert pure noise into meaningful images? In a variety of pretrained diffusion models (including conditional latent space models like Stable Diffusion), we observe that the reverse diffusion process that underlies image generation has the following properties: (i) individual trajectories tend to be low-dimensional and resemble 2D `rotations'; (ii) high-variance scene features like layout tend to emerge earlier, while low-variance details tend to emerge later; and (iii) early perturbations tend to have a greater impact on image content than later perturbations. To understand these phenomena, we derive and study a closed-form solution to the probability flow ODE for a Gaussian distribution, which shows that the reverse diffusion state rotates towards a gradually-specified target on the image manifold. It also shows that generation involves first committing to an outline, and then to finer and finer details. We find that this solution accurately describes the initial phase of image generation for pretrained models, and can in principle be used to make image generation more efficient by skipping reverse diffusion steps. Finally, we use our solution to characterize the image manifold in Stable Diffusion. Our viewpoint reveals an unexpected similarity between generation by GANs and diffusion and provides a conceptual link between diffusion and image retrieval.
• Abstract（参考訳）: 拡散生成モデルは純粋雑音を意味のある画像に変換するか? 様々な事前訓練された拡散モデル(安定拡散のような条件付き潜在空間モデルを含む)において、画像生成の根底にある逆拡散過程は以下の性質を持つことを観察する。 (i)個々の軌跡は低次元であり、2次元の「回転」に類似する傾向がある。 (二)レイアウトのような高分散シーンの特徴は早く現れる傾向にあり、低分散の詳細は後で現れる傾向にある。 (3)初期の摂動は、後の摂動よりも画像内容に大きな影響を与える傾向にある。 これらの現象を理解するために、ガウス分布の確率フローODEに対する閉形式解を導出し研究し、逆拡散状態が画像多様体上の徐々に特定された対象に向かって回転することを示す。 また、生成がまずアウトラインにコミットし、さらに詳細をきめ細やかにする必要があることも示しています。 本手法は,事前学習したモデルに対する画像生成の初期フェーズを正確に記述し,逆拡散ステップをスキップすることで画像生成をより効率的にすることができる。 最後に、安定拡散の像多様体を特徴づけるために、我々の解を用いる。 我々の視点は、GANによる生成と拡散の予期せぬ類似性を明らかにし、拡散と画像検索の概念的リンクを提供する。

関連論文リスト

• G2D2: Gradient-guided Discrete Diffusion for image inverse problem solving [55.185588994883226]
  本稿では,従来の離散拡散に基づく画像生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々の知る限りでは、これは画像逆問題を解決するために離散拡散モデルに基づく先行手法を使う最初のアプローチである。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• DIRE for Diffusion-Generated Image Detection [128.95822613047298]
  拡散再構成誤り(DIRE)という新しい表現を提案する。 DIREは、予め訓練された拡散モデルにより、入力画像とその再構成画像間の誤差を測定する。 DIREは生成されたイメージと実際のイメージを区別するためのブリッジとして機能する、というヒントを提供する。
  論文  参考訳（メタデータ） (2023-03-16T13:15:03Z)
• SinDiffusion: Learning a Diffusion Model from a Single Natural Image [159.4285444680301]
  SinDiffusionは1つの自然な画像からパッチの内部分布を捉えるためにデノナイズ拡散モデルを利用する。 SinDiffusionは、2つのコア設計に基づいている。まず、SinDiffusionは、段階的にスケールが成長する複数のモデルではなく、1つのスケールで1つのモデルで訓練されている。 第2に,拡散ネットワークのパッチレベルの受容領域は,画像のパッチ統計を捉える上で重要かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2022-11-22T18:00:03Z)
• Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance [95.12230117950232]
  関係領域で独立に訓練された2つの拡散モデルから共通潜時空間が現れることを示す。 テキスト・画像拡散モデルにCycleDiffusionを適用することで、大規模なテキスト・画像拡散モデルがゼロショット画像・画像拡散エディタとして使用できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:53:52Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)
• Generative Modelling With Inverse Heat Dissipation [21.738877553160304]
  本研究では,熱方程式を逆転させて画像を生成する拡散様モデルを提案する。PDEは,画像の2次元平面上での走行時に,微細な情報を消去する。 我々の新しいモデルでは、標準拡散モデルでは見られない創発的特性が示され、例えば画像の全体色と形状が乱れている。
  論文  参考訳（メタデータ） (2022-06-21T13:40:38Z)
• Come-Closer-Diffuse-Faster: Accelerating Conditional Diffusion Models for Inverse Problems through Stochastic Contraction [31.61199061999173]
  拡散モデルには重要な欠点がある。純粋なガウスノイズから画像を生成するために数千ステップの反復を必要とするため、サンプリングが本質的に遅い。 ガウスノイズから始めることは不要であることを示す。代わりに、より優れた初期化を伴う単一前方拡散から始めると、逆条件拡散におけるサンプリングステップの数を大幅に減少させる。 ComeCloser-DiffuseFaster (CCDF)と呼ばれる新しいサンプリング戦略は、逆問題に対する既存のフィードフォワードニューラルネットワークアプローチが拡散モデルと相乗的に組み合わせられる方法について、新たな洞察を明らかにしている。
  論文  参考訳（メタデータ） (2021-12-09T04:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。