論文の概要: eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers

• arxiv url: http://arxiv.org/abs/2211.01324v1
• Date: Wed, 2 Nov 2022 17:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 12:45:34.698482
• Title: eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers
• Title（参考訳）: eDiffi: エキスパートディナイザの集まりによるテキストと画像の拡散モデル
• Authors: Yogesh Balaji, Seungjun Nah, Xun Huang, Arash Vahdat, Jiaming Song, Karsten Kreis, Miika Aittala, Timo Aila, Samuli Laine, Bryan Catanzaro, Tero Karras, Ming-Yu Liu
• Abstract要約: 大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
• 参考スコア（独自算出の注目度）: 87.52504764677226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale diffusion-based generative models have led to breakthroughs in text-conditioned high-resolution image synthesis. Starting from random noise, such text-to-image diffusion models gradually synthesize images in an iterative fashion while conditioning on text prompts. We find that their synthesis behavior qualitatively changes throughout this process: Early in sampling, generation strongly relies on the text prompt to generate text-aligned content, while later, the text conditioning is almost entirely ignored. This suggests that sharing model parameters throughout the entire generation process may not be ideal. Therefore, in contrast to existing works, we propose to train an ensemble of text-to-image diffusion models specialized for different synthesis stages. To maintain training efficiency, we initially train a single model, which is then split into specialized models that are trained for the specific stages of the iterative generation process. Our ensemble of diffusion models, called eDiffi, results in improved text alignment while maintaining the same inference computation cost and preserving high visual quality, outperforming previous large-scale text-to-image diffusion models on the standard benchmark. In addition, we train our model to exploit a variety of embeddings for conditioning, including the T5 text, CLIP text, and CLIP image embeddings. We show that these different embeddings lead to different behaviors. Notably, the CLIP image embedding allows an intuitive way of transferring the style of a reference image to the target text-to-image output. Lastly, we show a technique that enables eDiffi's "paint-with-words" capability. A user can select the word in the input text and paint it in a canvas to control the output, which is very handy for crafting the desired image in mind. The project page is available at https://deepimagination.cc/eDiffi/
• Abstract（参考訳）: 大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 ランダムノイズから始めると、このようなテキスト間拡散モデルは、テキストプロンプトを条件付けながら、徐々に反復的に画像を合成する。 サンプリングの初期、生成はテキストアラインなコンテンツを生成するためのテキストプロンプトに強く依存していましたが、その後、テキストコンディショニングはほぼ完全に無視されています。 これは、生成プロセス全体を通してモデルパラメータを共有することが理想ではないことを示唆している。 そこで,既存の作品とは対照的に,異なる合成段階に特化したテキストから画像への拡散モデルのアンサンブルを訓練することを提案する。 トレーニング効率を維持するために、まず1つのモデルをトレーニングし、その後、反復生成プロセスの特定の段階のために訓練された特別なモデルに分割する。 eDiffiと呼ばれる拡散モデルのアンサンブルにより、同じ推論計算コストを維持しながらテキストアライメントが向上し、視覚的品質が向上し、従来の大規模テキスト・画像拡散モデルよりも優れている。 さらに、私たちは、T5テキスト、CLIPテキスト、CLIPイメージ埋め込みなど、条件付けのための様々な埋め込みを利用するようにモデルをトレーニングします。 これらの異なる埋め込みが異なる振る舞いをもたらすことを示します。 特に、CLIPイメージの埋め込みは、参照イメージのスタイルをターゲットのテキスト-画像出力に転送する直感的な方法を可能にする。 最後に,ediffi の "paint-with-words" 機能を実現する手法を示す。 ユーザは入力テキスト中の単語を選択してキャンバスに絵を描くことで出力を制御することができる。 プロジェクトページはhttps://deepimagination.cc/ediffi/で閲覧できます。

関連論文リスト

• Contextualized Diffusion Models for Text-Guided Image and Video Generation [67.69171154637172]
  条件拡散モデルは高忠実度テキスト誘導視覚生成および編集において優れた性能を示した。 本研究では,テキスト条件と視覚的サンプル間の相互作用とアライメントを包含するクロスモーダルコンテキストを組み込むことにより,コンテキスト拡散モデル(ContextDiff)を提案する。 理論的導出を伴うDDPMとDDIMの両方にモデルを一般化し、テキスト・ツー・イメージ生成とテキスト・ツー・ビデオ編集という2つの課題を伴う評価において、モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:16Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• ProSpect: Prompt Spectrum for Attribute-Aware Personalization of Diffusion Models [77.03361270726944]
  現在のパーソナライズ手法は、オブジェクトや概念をテキスト条件空間に反転させ、テキストから画像への拡散モデルのための新しい自然文を構成することができる。 本稿では,低周波情報から高周波画像を生成する拡散モデルのステップバイステップ生成プロセスを活用する新しい手法を提案する。 ProSpectは、画像誘導やテキスト駆動による材料、スタイル、レイアウトの操作など、パーソナライズされた属性認識画像生成アプリケーションに適用する。
  論文  参考訳（メタデータ） (2023-05-25T16:32:01Z)
• GlyphDiffusion: Text Generation as Image Generation [100.98428068214736]
  テキスト誘導画像生成によるテキスト生成のための新しい拡散手法であるGlyphDiffusionを提案する。 私たちのキーとなるアイデアは、ターゲットのテキストを視覚言語コンテンツを含むグリフイメージとしてレンダリングすることです。 また,本モデルでは,近年の拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-04-25T02:14:44Z)
• Text-to-image Diffusion Models in Generative AI: A Survey [86.11421833017693]
  本調査は,テキストから画像を生成する際の拡散モデルの進展を概観する。 ビデオなどの様々なモダリティのためのテキスト誘導生成や、テキスト誘導画像編集など、画像生成以外の応用について論じる。
  論文  参考訳（メタデータ） (2023-03-14T13:49:54Z)
• Zero-shot Generation of Coherent Storybook from Plain Text Story using Diffusion Models [43.32978092618245]
  本稿では,ストーリーの平文からコヒーレントなストーリーブックを生成するためのニューラルパイプラインを提案する。 我々は,事前学習された大規模言語モデルとテキスト誘導型潜在拡散モデルを組み合わせて,コヒーレントな画像を生成する。
  論文  参考訳（メタデータ） (2023-02-08T06:24:06Z)
• DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation [26.748667878221568]
  テキスト・ツー・イメージ・モデルの「個人化」のための新しいアプローチを提案する。 トレーニング済みのテキスト・ツー・イメージモデルを微調整して、ユニークな識別子を特定の主題にバインドする。 次に、ユニークな識別子を使用して、異なるシーンでコンテキスト化された被写体の完全なフォトリアリスティック・ノーベル画像を合成することができる。
  論文  参考訳（メタデータ） (2022-08-25T17:45:49Z)
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.170767750244366]
  Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
  論文  参考訳（メタデータ） (2022-05-23T17:42:53Z)
• GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models [16.786221846896108]
  テキスト条件画像合成問題に対する拡散モデルについて検討し、2つの異なるガイダンス戦略を比較した。 後者は、フォトリアリズムとキャプションの類似性の両方において、人間の評価者によって好まれており、しばしばフォトリアリスティックなサンプルを生成する。 我々のモデルは、画像のインペイントを行うように微調整することができ、強力なテキスト駆動画像編集を可能にします。
  論文  参考訳（メタデータ） (2021-12-20T18:42:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。