論文の概要: TokenCompose: Text-to-Image Diffusion with Token-level Supervision
- arxiv url: http://arxiv.org/abs/2312.03626v2
- Date: Sun, 23 Jun 2024 23:50:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 02:42:42.795006
- Title: TokenCompose: Text-to-Image Diffusion with Token-level Supervision
- Title（参考訳）: TokenCompose:Token-level Supervisionによるテキストと画像の拡散
- Authors: Zirui Wang, Zhizhou Sha, Zheng Ding, Yilin Wang, Zhuowen Tu,
- Abstract要約: TokenComposeはテキスト・画像生成のための遅延拡散モデルである。
ユーザが指定したテキストプロンプトとモデル生成画像との間の一貫性の向上を実現する。
- 参考スコア（独自算出の注目度）: 43.307556249485366
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present TokenCompose, a Latent Diffusion Model for text-to-image generation that achieves enhanced consistency between user-specified text prompts and model-generated images. Despite its tremendous success, the standard denoising process in the Latent Diffusion Model takes text prompts as conditions only, absent explicit constraint for the consistency between the text prompts and the image contents, leading to unsatisfactory results for composing multiple object categories. TokenCompose aims to improve multi-category instance composition by introducing the token-wise consistency terms between the image content and object segmentation maps in the finetuning stage. TokenCompose can be applied directly to the existing training pipeline of text-conditioned diffusion models without extra human labeling information. By finetuning Stable Diffusion, the model exhibits significant improvements in multi-category instance composition and enhanced photorealism for its generated images. Project link: https://mlpc-ucsd.github.io/TokenCompose
- Abstract（参考訳）: ユーザ指定テキストプロンプトとモデル生成画像との整合性を向上するテキスト・画像生成のための遅延拡散モデルであるTokenComposeを提案する。
非常に成功したにもかかわらず、Latent Diffusion Modelの標準的なデノベーションプロセスは、テキストプロンプトを条件のみとして、テキストプロンプトと画像内容の一貫性に対する明示的な制約が欠如しており、複数のオブジェクトカテゴリを構成するのに不満足な結果をもたらす。
TokenComposeは、画像の内容とオブジェクトのセグメンテーションマップ間のトークンワイド整合項を微調整段階で導入することにより、マルチカテゴリのインスタンス構成を改善することを目的としている。
TokenComposeは、人間のラベル付け情報なしで、テキスト条件の拡散モデルの既存のトレーニングパイプラインに直接適用することができる。
安定拡散を微調整することにより、モデルが生成した画像に対して、多カテゴリのインスタンス構成と拡張されたフォトリアリズムの大幅な改善を示す。
プロジェクトリンク:https://mlpc-ucsd.github.io/TokenCompose
関連論文リスト
- Open-Vocabulary Attention Maps with Token Optimization for Semantic Segmentation in Diffusion Models [1.6450779686641077]
OVAM(Open-Vocabulary Attention Maps)は,テキスト・画像拡散モデルのためのトレーニング不要な手法である。
既存の安定拡散拡張の中でこれらのトークンを評価する。
論文 参考訳（メタデータ） (2024-03-21T10:56:12Z) - MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。
本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。
この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
論文 参考訳（メタデータ） (2023-09-08T15:53:37Z) - Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。
画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。
ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
論文 参考訳（メタデータ） (2023-06-23T19:24:48Z) - Paste, Inpaint and Harmonize via Denoising: Subject-Driven Image Editing
with Pre-Trained Diffusion Model [22.975965453227477]
textitPaste, Inpaint, Harmonize と呼ばれる新しいフレームワークをDenoising (PhD) を通じて導入する。
本実験では,主観的画像編集作業にPhDを適用し,参照対象のテキスト駆動シーン生成を探索する。
論文 参考訳（メタデータ） (2023-06-13T07:43:10Z) - Discriminative Class Tokens for Text-to-Image Diffusion Models [107.98436819341592]
自由形式のテキストの表現可能性を利用した非侵襲的な微調整手法を提案する。
本手法は,従来の微調整法と比較して高速で,クラス内の画像の収集を必要としない。
i)標準拡散モデルよりも正確で高品質な生成画像,(ii)低リソース環境でのトレーニングデータの拡張,および(iii)誘導分類器の訓練に使用されるデータ情報を明らかにする。
論文 参考訳（メタデータ） (2023-03-30T05:25:20Z) - Unified Multi-Modal Latent Diffusion for Joint Subject and Text
Conditional Image Generation [63.061871048769596]
本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。
より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。
入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
論文 参考訳（メタデータ） (2023-03-16T13:50:20Z) - eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert
Denoisers [87.52504764677226]
大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。
異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。
eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
論文 参考訳（メタデータ） (2022-11-02T17:43:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。