論文の概要: Get What You Want, Not What You Don't: Image Content Suppression for Text-to-Image Diffusion Models

• arxiv url: http://arxiv.org/abs/2402.05375v1
• Date: Thu, 8 Feb 2024 03:15:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 16:29:46.104271
• Title: Get What You Want, Not What You Don't: Image Content Suppression for Text-to-Image Diffusion Models
• Title（参考訳）: 望まないものを手に入れる:テキストと画像の拡散モデルのための画像コンテンツ抑制
• Authors: Senmao Li, Joost van de Weijer, Taihang Hu, Fahad Shahbaz Khan, Qibin Hou, Yaxing Wang, Jian Yang
• Abstract要約: テキスト埋め込みの操作方法を分析し、不要なコンテンツを除去する。 第1は、テキスト埋め込み行列を正規化し、望ましくないコンテンツを効果的に抑制する。 第2の方法は、プロンプトの不要なコンテンツ生成をさらに抑制し、所望のコンテンツの生成を促進することである。
• 参考スコア（独自算出の注目度）: 86.92711729969488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of recent text-to-image diffusion models is largely due to their capacity to be guided by a complex text prompt, which enables users to precisely describe the desired content. However, these models struggle to effectively suppress the generation of undesired content, which is explicitly requested to be omitted from the generated image in the prompt. In this paper, we analyze how to manipulate the text embeddings and remove unwanted content from them. We introduce two contributions, which we refer to as $\textit{soft-weighted regularization}$ and $\textit{inference-time text embedding optimization}$. The first regularizes the text embedding matrix and effectively suppresses the undesired content. The second method aims to further suppress the unwanted content generation of the prompt, and encourages the generation of desired content. We evaluate our method quantitatively and qualitatively on extensive experiments, validating its effectiveness. Furthermore, our method is generalizability to both the pixel-space diffusion models (i.e. DeepFloyd-IF) and the latent-space diffusion models (i.e. Stable Diffusion).
• Abstract（参考訳）: 最近のテキストから画像への拡散モデルの成功は、ユーザーが所望のコンテンツを正確に記述できる複雑なテキストプロンプトによって導かれる能力によるところが大きい。 しかし、これらのモデルは、プロンプト内で生成された画像から省略するよう明示的に要求される、望ましくないコンテンツの生成を効果的に抑えるのに苦労する。 本稿では,テキスト埋め込みの操作方法を分析し,不要なコンテンツを除去する。 ここでは、$\textit{soft-weighted regularization}$と$\textit{inference-time text embedded optimization}$という2つのコントリビューションを紹介します。 第1は、テキスト埋め込み行列を正規化し、望ましくないコンテンツを効果的に抑制する。 第2の方法は、プロンプトの不要なコンテンツ生成をさらに抑制し、所望のコンテンツの生成を促進することである。 提案手法の定量的および定性的評価を行い,その有効性を検証した。 さらに,この手法は,画素空間拡散モデル(deepfloyd-if)と潜在空間拡散モデル(stable diffusion)の両方に一般化可能である。

関連論文リスト

• Latent Space Disentanglement in Diffusion Transformers Enables Zero-shot Fine-grained Semantic Editing [4.948910649137149]
  Diffusion Transformer (DiTs) は多種多様な高品質のテキスト・トゥ・イメージ(T2I)生成において顕著な成功を収めた。 テキストと画像の潜伏者が、生成した画像のセマンティクスに、個々と共同でどのように貢献するかを検討する。 ゼロショットきめ細かい画像編集のための簡易かつ効果的な抽出マニピュレーション・サンプル・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-23T19:00:52Z)
• Dynamic Prompt Optimizing for Text-to-Image Generation [63.775458908172176]
  テキストから画像への生成モデルを改善するために,textbfPrompt textbfAuto-textbfEditing (PAE)法を導入する。 我々は、各単語の重みと射出時間ステップを探索するために、オンライン強化学習戦略を採用し、動的微調整プロンプトを導いた。
  論文  参考訳（メタデータ） (2024-04-05T13:44:39Z)
• UDiffText: A Unified Framework for High-quality Text Synthesis in Arbitrary Images via Character-aware Diffusion Models [25.219960711604728]
  本稿では,事前学習した拡散モデルを用いたテキスト画像生成手法を提案する。 我々のアプローチは、オリジナルのCLIPエンコーダを置き換える軽量文字レベルテキストエンコーダの設計と訓練である。 推論段階の精細化プロセスを用いることで、任意に与えられた画像のテキストを合成する際に、顕著に高いシーケンス精度を実現する。
  論文  参考訳（メタデータ） (2023-12-08T07:47:46Z)
• MaskDiffusion: Boosting Text-to-Image Consistency with Conditional Mask [84.84034179136458]
  テキスト・イメージのミスマッチ問題に繋がる重要な要因は、モダリティ間の関係学習の不十分さである。 本稿では,注目マップと迅速な埋め込みを条件とした適応マスクを提案し,画像特徴に対する各テキストトークンの寄与度を動的に調整する。 この手法はMaskDiffusionと呼ばれ、トレーニング不要で、一般的な事前学習拡散モデルに対してホットプラグ可能である。
  論文  参考訳（メタデータ） (2023-09-08T15:53:37Z)
• If at First You Don't Succeed, Try, Try Again: Faithful Diffusion-based Text-to-Image Generation by Selection [53.320946030761796]
  拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは、テキスト・プロンプトへの忠実さを欠く可能性がある。 大規模なT2I拡散モデルは通常想定されるよりも忠実であり、複雑なプロンプトに忠実な画像を生成することができることを示す。 本稿では,テキストプロンプトの候補画像を生成するパイプラインを導入し,自動スコアリングシステムにより最適な画像を選択する。
  論文  参考訳（メタデータ） (2023-05-22T17:59:41Z)
• Zero-shot Image-to-Image Translation [57.46189236379433]
  手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。 本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。 本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
  論文  参考訳（メタデータ） (2023-02-06T18:59:51Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• Text-Guided Neural Image Inpainting [20.551488941041256]
  塗装作業では、劣化した画像をコンテキストに整合した内容で埋める必要がある。 本論文の目的は, 提供される記述文に従って, 劣化画像中の意味情報を埋めることである。 テキストガイドデュアルアテンション・インパインティング・ネットワーク(TDANet)という新しいインパインティング・モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-07T09:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。