論文の概要: Towards Understanding the Working Mechanism of Text-to-Image Diffusion Model

• arxiv url: http://arxiv.org/abs/2405.15330v3
• Date: Sun, 27 Oct 2024 04:44:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:21.548662
• Title: Towards Understanding the Working Mechanism of Text-to-Image Diffusion Model
• Title（参考訳）: テキスト・画像拡散モデルの作業メカニズムの理解に向けて
• Authors: Mingyang Yi, Aoxue Li, Yi Xin, Zhenguo Li,
• Abstract要約: 近年,高画質テキスト・トゥ・イメージ(T2I)生成に強力な遅延拡散確率モデル (DPM) が適用されている。 段階的デノナイジング生成過程における中間状態を調べることでDPMの背後にあるメカニズムを解明する。 本稿では,テキストガイダンスを適切に取り除き,T2I生成プロセスの高速化に本観測を適用した。
• 参考スコア（独自算出の注目度）: 57.24046436423511
• License:
• Abstract: Recently, the strong latent Diffusion Probabilistic Model (DPM) has been applied to high-quality Text-to-Image (T2I) generation (e.g., Stable Diffusion), by injecting the encoded target text prompt into the gradually denoised diffusion image generator. Despite the success of DPM in practice, the mechanism behind it remains to be explored. To fill this blank, we begin by examining the intermediate statuses during the gradual denoising generation process in DPM. The empirical observations indicate, the shape of image is reconstructed after the first few denoising steps, and then the image is filled with details (e.g., texture). The phenomenon is because the low-frequency signal (shape relevant) of the noisy image is not corrupted until the final stage in the forward process (initial stage of generation) of adding noise in DPM. Inspired by the observations, we proceed to explore the influence of each token in the text prompt during the two stages. After a series of experiments of T2I generations conditioned on a set of text prompts. We conclude that in the earlier generation stage, the image is mostly decided by the special token [\texttt{EOS}] in the text prompt, and the information in the text prompt is already conveyed in this stage. After that, the diffusion model completes the details of generated images by information from themselves. Finally, we propose to apply this observation to accelerate the process of T2I generation by properly removing text guidance, which finally accelerates the sampling up to 25\%+.
• Abstract（参考訳）: 近年,高画質のテキスト・トゥ・イメージ(T2I)生成には,符号化されたターゲットテキストを段階的に復号化拡散画像生成器にインジェクションすることにより,強力な遅延拡散確率モデル(DPM)が適用されている。 DPMが実際に成功したにも拘わらず、そのメカニズムはまだ解明されていない。 この空白を埋めるために、我々はDPMにおける段階的な騒音発生過程における中間状態を調べることから始める。 経験的観察は、最初の数ステップ後に画像の形状が再構成され、さらに詳細(例えばテクスチャ)で画像が満たされることを示している。 この現象は、DPMにノイズを付加する前処理(生成初期)の最終段階までノイズ画像の低周波信号(形状関連)が劣化しないためである。 本研究は,2段階間のテキストプロンプトにおける各トークンの影響について検討する。 一連のT2I世代の実験の後、一連のテキストプロンプトに条件付けされた。 我々は、初期段階では、画像はテキストプロンプト内の特別なトークン [\texttt{EOS}] によって決定され、テキストプロンプト内の情報は、この段階で既に伝達されていると結論付けている。 その後、拡散モデルは、生成した画像の詳細を自身からの情報により完成する。 最後に,テキストガイダンスを適切に除去することで,T2I生成のプロセスの高速化にこの観測を適用し,最終的に25\%以上のサンプリングを高速化する。

関連論文リスト

• Generating Intermediate Representations for Compositional Text-To-Image Generation [16.757550214291015]
  2つの段階に基づくテキスト・画像生成のための合成手法を提案する。 第1段階では,テキストに条件付けされた1つ以上の中間表現を生成する拡散に基づく生成モデルを設計する。 第2段階では、これらの表現をテキストとともに、別個の拡散ベース生成モデルを用いて最終出力画像にマッピングする。
  論文  参考訳（メタデータ） (2024-10-13T10:24:55Z)
• Faster Diffusion via Temporal Attention Decomposition [77.90640748930178]
  テキスト条件拡散モデルにおける推論における注意機構の役割について検討する。 我々は、時間的注意づけ(TGATE)として知られるトレーニング不要の手法を開発した。 TGATEは、スケジュールされた時間ステップで注意出力をキャッシュして再利用することで、効率的に画像を生成する。
  論文  参考訳（メタデータ） (2024-04-03T13:44:41Z)
• MirrorDiffusion: Stabilizing Diffusion Process in Zero-shot Image Translation by Prompts Redescription and Beyond [57.14128305383768]
  拡散モデル(MirrorDiffusion)における音源と再構成画像のミラー効果を実現するための素早い再記述手法を提案する。 MirrorDiffusionはゼロショット画像変換ベンチマークの最先端手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-01-06T14:12:16Z)
• Controlled and Conditional Text to Image Generation with Diffusion Prior [1.8690858882873838]
  DALLE-2の2ステッププロセスは、テキストからCLIPイメージの埋め込みを生成するDiffusion Priorと、CLIPイメージの埋め込みから画像を生成するDiffusion Decoderで構成される。 提案手法は,カラー条件付き生成のための領域固有生成と既存のベースラインの迅速なエンジニアリングよりも,定量的かつ質的に優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-23T00:10:40Z)
• Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models [103.61066310897928]
  最近のテキスト・ツー・イメージ生成モデルは、ターゲットのテキスト・プロンプトによって導かれる多様な創造的な画像を生成する非例外的な能力を実証している。 革命的ではあるが、現在の最先端拡散モデルは、与えられたテキストプロンプトのセマンティクスを完全に伝達するイメージの生成に失敗する可能性がある。 本研究では, 一般に公開されている安定拡散モデルを分析し, 破滅的無視の有無を評価し, そのモデルが入力プロンプトから1つ以上の被写体を生成するのに失敗した場合について検討する。 提案するジェネレーティブ・セマンティック・ナーシング(GSN)の概念は、推論時間中にハエの生殖過程に介入し、忠実性を改善するものである。
  論文  参考訳（メタデータ） (2023-01-31T18:10:38Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。