論文の概要: LOCATEdit: Graph Laplacian Optimized Cross Attention for Localized Text-Guided Image Editing

• arxiv url: http://arxiv.org/abs/2503.21541v1
• Date: Thu, 27 Mar 2025 14:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:54:20.033560
• Title: LOCATEdit: Graph Laplacian Optimized Cross Attention for Localized Text-Guided Image Editing
• Title（参考訳）: LOCATEdit: ローカルテキストガイド画像編集のためのグラフラプラシアン最適化クロスアテンション
• Authors: Achint Soni, Meet Soni, Sirisha Rambhatla,
• Abstract要約: テキスト誘導画像編集は、自然言語の指示に従って画像の特定の領域を変更することを目的としている。 クロスアテンションメカニズムは意味的関連性に重点を置いているため、画像の整合性を維持するのに苦労している。 LOCATEditを導入し、グラフベースのアプローチにより、横断アテンションマップを強化する。
• 参考スコア（独自算出の注目度）: 6.057289837472806
• License:
• Abstract: Text-guided image editing aims to modify specific regions of an image according to natural language instructions while maintaining the general structure and the background fidelity. Existing methods utilize masks derived from cross-attention maps generated from diffusion models to identify the target regions for modification. However, since cross-attention mechanisms focus on semantic relevance, they struggle to maintain the image integrity. As a result, these methods often lack spatial consistency, leading to editing artifacts and distortions. In this work, we address these limitations and introduce LOCATEdit, which enhances cross-attention maps through a graph-based approach utilizing self-attention-derived patch relationships to maintain smooth, coherent attention across image regions, ensuring that alterations are limited to the designated items while retaining the surrounding structure. \method consistently and substantially outperforms existing baselines on PIE-Bench, demonstrating its state-of-the-art performance and effectiveness on various editing tasks. Code can be found on https://github.com/LOCATEdit/LOCATEdit/
• Abstract（参考訳）: テキスト誘導画像編集は、自然言語の指示に従って画像の特定の領域を変更することを目的としており、一般的な構造と背景の忠実さを維持している。 既存の手法では,拡散モデルから生成したクロスアテンションマップから得られたマスクを用いて,修正対象領域を識別する。 しかし,クロスアテンション機構は意味的関連性に重点を置いているため,画像の整合性を維持するのに苦労している。 その結果、これらの手法は空間的な一貫性を欠くことが多く、アーティファクトや歪みの編集に繋がった。 本研究では,これらの制約に対処し,自己アテンションに基づくパッチ関係を利用したグラフベースのアプローチによる相互アテンションマップを強化するLOCATEditを導入し,画像領域間のスムーズでコヒーレントな注意を保ちながら,周辺構造を維持しながら変更が指定された項目に限定されることを保証する。 \methodは、PIE-Benchの既存のベースラインを一貫して大幅に上回り、様々な編集タスクにおける最先端のパフォーマンスと有効性を実証している。 コードはhttps://github.com/LOCATEdit/LOCATEdit/

関連論文リスト

• EditScout: Locating Forged Regions from Diffusion-based Edited Images with Multimodal LLM [50.054404519821745]
  本稿では,多モーダル大規模言語モデルを統合した新しいフレームワークを提案する。 我々のフレームワークはMagicBrush、AutoSplice、PerfBrushデータセットの有望な結果を達成する。 特に,本手法は,これまで目に見えなかった種類の編集を特徴とする自己構築型テストセットであるPerfBrushデータセットを最適化する。
  論文  参考訳（メタデータ） (2024-12-05T02:05:33Z)
• Uniform Attention Maps: Boosting Image Fidelity in Reconstruction and Editing [66.48853049746123]
  構造的視点から再構築を解析し、従来の横断的注意を一様注意マップに置き換える新しいアプローチを提案する。 本手法は,ノイズ予測時のテキスト条件の変化による歪みを効果的に抑制する。 実験結果から,本手法は高忠実度画像再構成に優れるだけでなく,実際の画像合成や編集のシナリオにも頑健に機能することが示された。
  論文  参考訳（メタデータ） (2024-11-29T12:11:28Z)
• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• LocInv: Localization-aware Inversion for Text-Guided Image Editing [17.611103794346857]
  テキスト誘導画像編集研究は、ユーザーがテキストプロンプトを変更して生成した画像を操作できるようにすることを目的としている。 既存の画像編集技術は、意図した対象領域を超えて意図しない領域を編集する傾向がある。 そこで我々は, セグメンテーションマップやバウンディングボックスを付加的なローカライゼーションとして活用して, クロスアテンションマップを改良するローカライゼーション対応インバージョン(LocInv)を提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:27:04Z)
• Towards Understanding Cross and Self-Attention in Stable Diffusion for Text-Guided Image Editing [47.71851180196975]
  チューニング不要のテキストガイド画像編集(TIE)は、アプリケーション開発者にとって非常に重要である。 深部探索解析を行い、安定拡散における交差アテンションマップは、しばしば物体の帰属情報を含むことを示す。 対照的に、自己注意マップは、ソース画像の幾何学的および形状的詳細を保存する上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-03-06T03:32:56Z)
• LIME: Localized Image Editing via Attention Regularization in Diffusion Models [69.33072075580483]
  本稿では拡散モデルにおける局所化画像編集のためのLIMEを提案する。 LIMEは、ユーザが指定した関心領域(RoI)や追加のテキスト入力を必要としない。 そこで本研究では,RoIにおける非関係なクロスアテンションスコアをデノナイジングステップ中にペナライズし,局所的な編集を確実にする新しいクロスアテンション正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T18:59:59Z)
• PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing [8.19063619210761]
  PFB-Diffは拡散に基づく画像編集のためのプログレッシブ・フィーチャーブレンディング法である。 本手法は, 画像の忠実度, 編集精度, 効率, 忠実度において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-28T11:10:20Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。