論文の概要: Devil is in the Detail: Towards Injecting Fine Details of Image Prompt in Image Generation via Conflict-free Guidance and Stratified Attention

• arxiv url: http://arxiv.org/abs/2508.02004v1
• Date: Mon, 04 Aug 2025 02:48:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.153274
• Title: Devil is in the Detail: Towards Injecting Fine Details of Image Prompt in Image Generation via Conflict-free Guidance and Stratified Attention
• Title（参考訳）: Devil is in the Detail: Injecting Image Prompt in Image Generation by Conflict-free Guidance and Stratified Attention
• Authors: Kyungmin Jo, Jooyeol Yun, Jaegul Choo,
• Abstract要約: 大規模テキスト画像拡散モデルにより、テキストプロンプトから高品質で多様な画像を生成することができる。 これらのプロンプトは、テクスチャのような複雑な詳細をキャプチャするのに苦労し、ユーザの意図が反映されるのを防ぐ。 最近の作業では、画像プロンプトからキーと値を置換または連結することにより、生成画像に画像条件を課す自己注意機構を変更する。
• 参考スコア（独自算出の注目度）: 33.50885401122303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While large-scale text-to-image diffusion models enable the generation of high-quality, diverse images from text prompts, these prompts struggle to capture intricate details, such as textures, preventing the user intent from being reflected. This limitation has led to efforts to generate images conditioned on user-provided images, referred to as image prompts. Recent work modifies the self-attention mechanism to impose image conditions in generated images by replacing or concatenating the keys and values from the image prompt. This enables the self-attention layer to work like a cross-attention layer, generally used to incorporate text prompts. In this paper, we identify two common issues in existing methods of modifying self-attention to generate images that reflect the details of image prompts. First, existing approaches neglect the importance of image prompts in classifier-free guidance. Specifically, current methods use image prompts as both desired and undesired conditions in classifier-free guidance, causing conflicting signals. To resolve this, we propose conflict-free guidance by using image prompts only as desired conditions, ensuring that the generated image faithfully reflects the image prompt. In addition, we observe that the two most common self-attention modifications involve a trade-off between the realism of the generated image and alignment with the image prompt. Specifically, selecting more keys and values from the image prompt improves alignment, while selecting more from the generated image enhances realism. To balance both, we propose an new self-attention modification method, Stratified Attention to jointly use keys and values from both images rather than selecting between them. Through extensive experiments across three image generation tasks, we show that the proposed method outperforms existing image-prompting models in faithfully reflecting the image prompt.
• Abstract（参考訳）: 大規模テキスト画像拡散モデルでは、テキストプロンプトから高品質で多様な画像を生成することができるが、これらのプロンプトはテクスチャなどの複雑な詳細を捉えるのに苦労し、ユーザの意図が反映されない。 この制限は、画像プロンプトと呼ばれるユーザが提供する画像に条件付けされた画像を生成する努力につながった。 最近の作業では、画像プロンプトからキーと値を置換または連結することにより、生成画像に画像条件を課す自己注意機構を変更する。 これにより、セルフアテンション層は、テキストプロンプトを組み込むのに一般的に使用されるクロスアテンション層のように機能する。 本稿では,イメージプロンプトの詳細を反映した画像を生成するために,既存の自己意識修正手法において共通する2つの課題を特定する。 第一に、既存のアプローチは、分類器フリーガイダンスにおける画像プロンプトの重要性を無視している。 特に、現在の手法では、画像プロンプトを分類器なし誘導における望ましくない条件と望ましくない条件の両方として使用し、競合する信号を引き起こす。 これを解決するために,画像プロンプトを所望の条件としてのみ使用し,生成した画像が画像プロンプトを忠実に反映することを保証することで,コンフリクトフリーガイダンスを提案する。 さらに、最も一般的な2つの自己注意修正は、生成した画像のリアリズムと、画像プロンプトとの整合性の間のトレードオフを含むことを観察する。 具体的には、画像からより多くのキーと値を選択することでアライメントが向上し、生成した画像からさらに多くのキーを選択することでリアリズムが向上する。 両者のバランスをとるために,両画像のキーと値を相互に使用するための新たな自己注意修正手法,Stratified Attentionを提案する。 提案手法は,3つの画像生成タスクにわたる広範な実験を通じて,既存の画像プロンプトモデルよりも高い精度で画像プロンプトを忠実に反映することを示す。

関連論文リスト

• Scale Your Instructions: Enhance the Instruction-Following Fidelity of Unified Image Generation Model by Self-Adaptive Attention Scaling [54.54513714247062]
  OmniGenのような統合画像生成モデルの最近の進歩により、単一のフレームワーク内で多様な画像生成および編集タスクの処理が可能になった。 テキスト命令が複数のサブインストラクションを含む場合,テキスト命令の無視に悩まされることがわかった。 本稿では,サブインストラクション毎に注意力の活性化を動的にスケールするために,自己適応型注意スケーリングを提案する。
  論文  参考訳（メタデータ） (2025-07-22T05:25:38Z)
• AlignGen: Boosting Personalized Image Generation with Cross-Modality Prior Alignment [74.47138661595584]
  我々は、パーソナライズされた画像生成のためのクロスモーダル優先アライメント機構であるAlignGenを提案する。 AlignGenは、既存のゼロショットメソッドよりも優れており、一般的なテスト時間最適化アプローチを超えています。
  論文  参考訳（メタデータ） (2025-05-28T02:57:55Z)
• Large-Scale Text-to-Image Model with Inpainting is a Zero-Shot Subject-Driven Image Generator [44.620847608977776]
  ディプチッチ・プロンプティング(Diptych Prompting)は、被写体を正確にアライメントした塗装タスクとして再解釈する、新しいゼロショットアプローチである。 提案手法は主観的画像生成だけでなく, 主観的画像生成と主観的画像編集もサポートする。
  論文  参考訳（メタデータ） (2024-11-23T06:17:43Z)
• Locate, Assign, Refine: Taming Customized Promptable Image Inpainting [22.163855501668206]
  本稿では,マルチモーダル・プロンプト・イメージ・インパインティング・プロジェクト,新しいタスクモデル,カスタマイズされたイメージ・インパインティングのためのデータを紹介する。 マスクプロンプトに対応する画像中の特定の領域をシームレスに塗布できる,画像塗布の新しいアプローチであるLAR-Genを提案する。 我々のLAR-Genは、ソースイメージのコンテキスト整合性、主観的アイデンティティ整合性、テキスト記述に対する局所的セマンティック整合性、滑らか性整合性を保証するために粗大な方法で採用しています。
  論文  参考訳（メタデータ） (2024-03-28T16:07:55Z)
• Tuning-Free Image Customization with Image and Text Guidance [65.9504243633169]
  テキスト画像の同時カスタマイズのためのチューニング不要なフレームワークを提案する。 提案手法は,テキスト記述に基づく詳細な属性の修正が可能でありながら,参照画像のセマンティックな特徴を保っている。 提案手法は,人的・定量的評価において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-19T11:48:35Z)
• Contrastive Prompts Improve Disentanglement in Text-to-Image Diffusion Models [68.47333676663312]
  テキスト・ツー・イメージ・モデルにおける画像要素のアンタングル化に有効な分類器フリーガイダンスの簡単な修正法を示す。 提案手法のキーとなる考え方は、最小限のトークンで異なる2つのプロンプトを持つ意図された要因を特徴づけることである。 我々は,(1)オブジェクトクラスで訓練されたドメイン固有拡散モデル,(2)テキスト・画像生成のための連続的なリグライクな制御,(3)ゼロショット画像エディタの性能向上の3つのシナリオにおいて,その利点を説明する。
  論文  参考訳（メタデータ） (2024-02-21T03:01:17Z)
• VideoBooth: Diffusion-based Video Generation with Image Prompts [130.47771531413375]
  画像プロンプトを用いた映像生成のためのフィードフォワードフレームワークを提案する。 VideoBoothは、画像プロンプトに指定された被写体でカスタマイズされた高品質なビデオを生成する際に、最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-12-01T18:55:40Z)
• Manipulating Embeddings of Stable Diffusion Prompts [22.10069408287608]
  本稿では,プロンプトテキストの代わりにプロンプトの埋め込みを操作する新しい手法を提案し,解析する。 提案手法は退屈度が低く,結果のイメージが好まれることが多い。
  論文  参考訳（メタデータ） (2023-08-23T10:59:41Z)
• Text as Neural Operator: Image Manipulation by Text Instruction [68.53181621741632]
  本稿では、複雑なテキスト命令を用いて複数のオブジェクトで画像を編集し、オブジェクトの追加、削除、変更を可能にする設定について検討する。 タスクの入力は、(1)参照画像を含むマルチモーダルであり、(2)所望の修正を記述した自然言語の命令である。 提案モデルは,最近の3つの公開データセットの強いベースラインに対して良好に動作することを示す。
  論文  参考訳（メタデータ） (2020-08-11T07:07:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。