論文の概要: Nested Diffusion Processes for Anytime Image Generation
- arxiv url: http://arxiv.org/abs/2305.19066v3
- Date: Mon, 30 Oct 2023 10:58:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 23:49:56.779702
- Title: Nested Diffusion Processes for Anytime Image Generation
- Title(参考訳): 常時画像生成のためのネスト拡散過程
- Authors: Noam Elata, Bahjat Kawar, Tomer Michaeli, Michael Elad
- Abstract要約: そこで本研究では,任意の時間に任意の時間に停止した場合に,有効画像を生成することができるリアルタイム拡散法を提案する。
ImageNetとStable Diffusionを用いたテキスト・ツー・イメージ生成実験において,本手法の中間生成品質が元の拡散モデルよりも大幅に高いことを示す。
- 参考スコア(独自算出の注目度): 38.84966342097197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models are the current state-of-the-art in image generation,
synthesizing high-quality images by breaking down the generation process into
many fine-grained denoising steps. Despite their good performance, diffusion
models are computationally expensive, requiring many neural function
evaluations (NFEs). In this work, we propose an anytime diffusion-based method
that can generate viable images when stopped at arbitrary times before
completion. Using existing pretrained diffusion models, we show that the
generation scheme can be recomposed as two nested diffusion processes, enabling
fast iterative refinement of a generated image. In experiments on ImageNet and
Stable Diffusion-based text-to-image generation, we show, both qualitatively
and quantitatively, that our method's intermediate generation quality greatly
exceeds that of the original diffusion model, while the final generation result
remains comparable. We illustrate the applicability of Nested Diffusion in
several settings, including for solving inverse problems, and for rapid
text-based content creation by allowing user intervention throughout the
sampling process.
- Abstract(参考訳): 拡散モデルは、画像生成における最先端のモデルであり、生成プロセスを多くの細かなデノイジングステップに分解することで高品質な画像を合成する。
優れた性能にもかかわらず、拡散モデルは計算コストが高く、多くの神経機能評価(NFE)を必要とする。
本研究では,完了前に任意のタイミングで停止した場合に実行可能画像を生成する,任意の時間拡散に基づく手法を提案する。
既存の事前学習拡散モデルを用いて、生成スキームを2つのネスト拡散過程として再構成し、生成した画像の高速反復精錬を可能にする。
ImageNetとStable Diffusionを用いたテキスト・ツー・イメージ生成実験において,本手法の中間生成品質が元の拡散モデルを大きく上回る一方で,最終的な生成結果と同等であることを示す。
我々は,Nested Diffusionの適用性について,逆問題の解決や,サンプリングプロセス全体を通じてユーザの介入を可能とすることで,テキストベースの迅速なコンテンツ作成など,いくつかの設定で説明する。
関連論文リスト
- Fast Sampling via De-randomization for Discrete Diffusion Models [52.554915711265856]
本稿では, 離散拡散モデルの高速化に繋がる非ランダム化拡散過程を提案する。
提案手法は, ニューラルネットワークに対する関数評価の回数を大幅に削減し, サンプリング処理を高速化する。
自然言語生成および機械翻訳タスクの実験は,本手法の優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-14T18:14:11Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - DiffGANPaint: Fast Inpainting Using Denoising Diffusion GANs [19.690288425689328]
本稿では,不足画素を高速に充填できるDDPMモデルを提案する。
汎用画像インパインティングデータセットの実験は、我々のアプローチが現代のほとんどの作品に匹敵する、あるいは同等であることを示す。
論文 参考訳(メタデータ) (2023-08-03T17:50:41Z) - Decoupled Diffusion Models: Image to Zero and Zero to Noise [57.9447970931649]
本稿では, 複雑な拡散過程を2つの比較的単純なプロセスに分離し, 生成効率と速度を改善することを提案する。
拡散過程の疎結合は学習の難しさを低減し、明示的な遷移確率は生成速度を大幅に向上させる。
また,このフレームワークは画像条件付き生成や高解像度画像合成にも適用可能であること,また,10機能評価のみで高品質な画像を生成することができることを示す。
論文 参考訳(メタデータ) (2023-06-23T18:08:00Z) - VideoFusion: Decomposed Diffusion Models for High-Quality Video
Generation [88.49030739715701]
本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。
様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
論文 参考訳(メタデータ) (2023-03-15T02:16:39Z) - DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion [144.9653045465908]
拡散確率モデル(DDPM)に基づく新しい融合アルゴリズムを提案する。
近赤外可視画像融合と医用画像融合で有望な融合が得られた。
論文 参考訳(メタデータ) (2023-03-13T04:06:42Z) - DiffusionCLIP: Text-guided Image Manipulation Using Diffusion Models [33.79188588182528]
本稿では,コントラスト言語-画像事前学習(CLIP)損失を用いた拡散モデルを用いたテキスト駆動画像操作を行うDiffusionCLIPを提案する。
提案手法は、ドメイン内および外部の画像処理タスクのための、最新のGANベースの画像処理手法に匹敵する性能を有する。
本手法は,未知の領域から別の未知の領域への画像変換や,未知の領域におけるストローク条件の画像生成など,様々な新しい用途に容易に利用できる。
論文 参考訳(メタデータ) (2021-10-06T12:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。