論文の概要: Towards Understanding Cross and Self-Attention in Stable Diffusion for Text-Guided Image Editing

• arxiv url: http://arxiv.org/abs/2403.03431v1
• Date: Wed, 6 Mar 2024 03:32:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 16:27:19.036194
• Title: Towards Understanding Cross and Self-Attention in Stable Diffusion for Text-Guided Image Editing
• Title（参考訳）: テキストガイド画像編集のための安定拡散における交差と自己注意の理解に向けて
• Authors: Bingyan Liu, Chengyu Wang, Tingfeng Cao, Kui Jia, Jun Huang
• Abstract要約: チューニング不要のテキストガイド画像編集(TIE)は、アプリケーション開発者にとって非常に重要である。 深部探索解析を行い、安定拡散における交差アテンションマップは、しばしば物体の帰属情報を含むことを示す。 対照的に、自己注意マップは、ソース画像の幾何学的および形状的詳細を保存する上で重要な役割を担っている。
• 参考スコア（独自算出の注目度）: 47.71851180196975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Text-to-Image Synthesis (TIS) models such as Stable Diffusion have recently gained significant popularity for creative Text-to-image generation. Yet, for domain-specific scenarios, tuning-free Text-guided Image Editing (TIE) is of greater importance for application developers, which modify objects or object properties in images by manipulating feature components in attention layers during the generation process. However, little is known about what semantic meanings these attention layers have learned and which parts of the attention maps contribute to the success of image editing. In this paper, we conduct an in-depth probing analysis and demonstrate that cross-attention maps in Stable Diffusion often contain object attribution information that can result in editing failures. In contrast, self-attention maps play a crucial role in preserving the geometric and shape details of the source image during the transformation to the target image. Our analysis offers valuable insights into understanding cross and self-attention maps in diffusion models. Moreover, based on our findings, we simplify popular image editing methods and propose a more straightforward yet more stable and efficient tuning-free procedure that only modifies self-attention maps of the specified attention layers during the denoising process. Experimental results show that our simplified method consistently surpasses the performance of popular approaches on multiple datasets.
• Abstract（参考訳）: 安定拡散のような深いテキストから画像への合成(tis)モデルは最近、創造的なテキストから画像への生成で大きな人気を得ている。 しかし、ドメイン固有のシナリオでは、チューニングフリーなテキストガイド付き画像編集(tie)がアプリケーション開発者にとってより重要である。 しかし,これらの注意層がどのような意味を持つのか,どの部分の注意マップが画像編集の成功に寄与しているかは分かっていない。 本稿では,本論文の詳細な探索分析を行い,安定拡散における相互注意マップには,しばしば編集失敗の原因となるオブジェクト帰属情報が含まれていることを示す。 対照的に、自己注意マップは、ターゲット画像への変換中に、ソース画像の幾何学的および形状的詳細を保存する上で重要な役割を果たす。 本分析は拡散モデルにおける交叉および自己随伴写像の理解に有用な知見を与える。 さらに,本研究は,画像編集手法を単純化し,特定注意層の自己参照マップのみを修飾する,より簡単でより安定で効率的なチューニングフリーな手順を提案する。 実験の結果,提案手法は複数のデータセットに対する一般的な手法の性能を常に上回ることがわかった。

関連論文リスト

• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• LIME: Localized Image Editing via Attention Regularization in Diffusion Models [74.3811832586391]
  本稿では,ユーザ指定の関心領域 (RoI) や追加のテキスト入力を必要としない拡散モデルにおける局所化画像編集のためのLIMEを提案する。 本手法では,事前学習した手法と単純なクラスタリング手法を用いて,正確なセマンティックセグメンテーションマップを得る。 そこで本研究では,RoIにおける非関係なクロスアテンションスコアをデノナイジングステップ中にペナライズし,局所的な編集を確実にする新しいクロスアテンション正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:59Z)
• Dynamic Prompt Learning: Addressing Cross-Attention Leakage for Text-Based Image Editing [23.00202969969574]
  そこで本稿では,テキストプロンプト中の名詞の正しい単語に注意を向けるために,クロスアテンションマップを強制する動的プロンプト学習(DPL)を提案する。 本稿では,Word-Swap, Prompt Refinement, Attention Re-weightingの編集結果の改善について述べる。
  論文  参考訳（メタデータ） (2023-09-27T13:55:57Z)
• PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing [8.19063619210761]
  PFB-Diffは拡散に基づく画像編集のためのプログレッシブ・フィーチャーブレンディング法である。 本手法は, 画像の忠実度, 編集精度, 効率, 忠実度において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-28T11:10:20Z)
• DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing [94.24479528298252]
  DragGANは、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークである。 大規模な事前学習拡散モデルを利用することで、実画像と拡散画像の両方における対話的点ベース編集の適用性を大幅に向上する。 本稿では,対話的点ベース画像編集手法の性能を評価するため,DragBenchというベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2023-06-26T06:04:09Z)
• LayerDiffusion: Layered Controlled Image Editing with Diffusion Models [5.58892860792971]
  LayerDiffusionはセマンティックベースの階層制御画像編集手法である。 我々は、大規模テキスト・画像モデルを活用し、階層化された制御最適化戦略を採用する。 実験により,高コヒーレント画像の生成における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-30T01:26:41Z)
• Localizing Object-level Shape Variations with Text-to-Image Diffusion Models [60.422435066544814]
  本稿では,特定の物体の形状の変化を表現した画像の集合を生成する手法を提案する。 オブジェクトのバリエーションを生成する際の特に課題は、オブジェクトの形状に適用される操作を正確にローカライズすることである。 画像空間の操作をローカライズするために,自己注意層と交差注意層を併用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-03-20T17:45:08Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。