論文の概要: Tuning-Free Image Editing with Fidelity and Editability via Unified Latent Diffusion Model

• arxiv url: http://arxiv.org/abs/2504.05594v1
• Date: Tue, 08 Apr 2025 01:02:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-09 13:29:59.426202
• Title: Tuning-Free Image Editing with Fidelity and Editability via Unified Latent Diffusion Model
• Title（参考訳）: Unified Latent Diffusion Modelによる忠実度と編集性を考慮したチューニング不要画像編集
• Authors: Qi Mao, Lan Chen, Yuchao Gu, Mike Zheng Shou, Ming-Hsuan Yang,
• Abstract要約: 拡散遅延最適化を行うチューニング不要なUnifyEditを導入する。 本研究では, 自己注意保持制約(SA)と相互注意アライメント制約(CA)の2つを開発し, テキストアライメントの強化を図る。 提案手法は,様々な編集作業における構造保存とテキストアライメントのバランスを保ち,他の最先端手法よりも優れている。
• 参考スコア（独自算出の注目度）: 60.82962950960996
• License:
• Abstract: Balancing fidelity and editability is essential in text-based image editing (TIE), where failures commonly lead to over- or under-editing issues. Existing methods typically rely on attention injections for structure preservation and leverage the inherent text alignment capabilities of pre-trained text-to-image (T2I) models for editability, but they lack explicit and unified mechanisms to properly balance these two objectives. In this work, we introduce UnifyEdit, a tuning-free method that performs diffusion latent optimization to enable a balanced integration of fidelity and editability within a unified framework. Unlike direct attention injections, we develop two attention-based constraints: a self-attention (SA) preservation constraint for structural fidelity, and a cross-attention (CA) alignment constraint to enhance text alignment for improved editability. However, simultaneously applying both constraints can lead to gradient conflicts, where the dominance of one constraint results in over- or under-editing. To address this challenge, we introduce an adaptive time-step scheduler that dynamically adjusts the influence of these constraints, guiding the diffusion latent toward an optimal balance. Extensive quantitative and qualitative experiments validate the effectiveness of our approach, demonstrating its superiority in achieving a robust balance between structure preservation and text alignment across various editing tasks, outperforming other state-of-the-art methods. The source code will be available at https://github.com/CUC-MIPG/UnifyEdit.
• Abstract（参考訳）: テキストベースの画像編集(TIE)では、ファイルのバランシングと編集性は不可欠である。 既存の方法は、通常、構造保存のために注意注入を頼り、編集性のために事前訓練されたテキスト・ツー・イメージ(T2I)モデルの本質的なテキストアライメント機能を利用するが、これらの2つの目的を適切にバランスさせる明示的で統一されたメカニズムは欠如している。 本研究では,UnifyEditを紹介した。UnifyEditは拡散遅延最適化を行い,統一されたフレームワーク内での忠実度と編集可能性のバランスの取れた統合を実現する。 直接的注意注入とは違って、構造的忠実性に対する自己注意保持制約(SA)と、編集性を向上させるためにテキストアライメントを強化するクロスアテンションアライメント制約(CA)の2つの注意ベース制約を開発する。 しかし、両方の制約を同時に適用すると、勾配の矛盾が生じ、そこでは1つの制約の優位性が過度または過小評価をもたらす。 この課題に対処するために、これらの制約の影響を動的に調整し、拡散遅延を最適バランスに導く適応時間ステップスケジューラを導入する。 様々な編集作業における構造保存とテキストアライメントの堅牢なバランスを達成し,他の最先端手法よりも優れていることを示す。 ソースコードはhttps://github.com/CUC-MIPG/UnifyEditで入手できる。

関連論文リスト

• UIP2P: Unsupervised Instruction-based Image Editing via Cycle Edit Consistency [69.33072075580483]
  本研究では,教師なしの教師なし画像編集モデルを提案する。 CEC(Cycle Edit Consistency)と呼ばれる新しい編集機構を導入することで,これらの課題に対処する。 CECは1つのトレーニングステップで前方と後方の編集を適用し、画像と注意空間の一貫性を強制する。
  論文  参考訳（メタデータ） (2024-12-19T18:59:58Z)
• Uniform Attention Maps: Boosting Image Fidelity in Reconstruction and Editing [66.48853049746123]
  構造的視点から再構築を解析し、従来の横断的注意を一様注意マップに置き換える新しいアプローチを提案する。 本手法は,ノイズ予測時のテキスト条件の変化による歪みを効果的に抑制する。 実験結果から,本手法は高忠実度画像再構成に優れるだけでなく,実際の画像合成や編集のシナリオにも頑健に機能することが示された。
  論文  参考訳（メタデータ） (2024-11-29T12:11:28Z)
• Unlocking the Potential of Text-to-Image Diffusion with PAC-Bayesian Theory [33.78620829249978]
  テキスト・ツー・イメージ(T2I)拡散モデルは、高忠実で多彩で視覚的にリアルな画像を生成することによって、生成モデルに革命をもたらした。 最近の注目度に基づく手法は、オブジェクトの包摂性や言語的バインディングを改善してきたが、それでも属性のミスバインディングのような課題に直面している。 そこで,ベイズ的手法を用いて,所望のプロパティを強制するために,注意分布を優先したカスタムプライドを設計する手法を提案する。 本手法では,アテンション機構を解釈可能なコンポーネントとして扱い,微粒化制御と属性オブジェクトアライメントの改善を実現している。
  論文  参考訳（メタデータ） (2024-11-25T10:57:48Z)
• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• FlexiEdit: Frequency-Aware Latent Refinement for Enhanced Non-Rigid Editing [22.308638156328968]
  DDIMはオリジナルのイメージのキー機能とレイアウトを維持するのに不可欠であり、制限に大きく貢献する。 DDIMラテントを精錬することでテキストプロンプト入力の忠実度を向上させるFlexiEditを導入する。 本手法は画像編集,特に複雑な非剛性編集における顕著な進歩を示す。
  論文  参考訳（メタデータ） (2024-07-25T08:07:40Z)
• E4C: Enhance Editability for Text-Based Image Editing by Harnessing Efficient CLIP Guidance [13.535394339438428]
  拡散ベースの画像編集は、ソースイメージコンテンツを保存し、新しいコンテンツを生成したり、修正を加えたりする複合プロセスである。 テキストベースのtextbf 編集のための textbfCLIP 誘導によるゼロショット画像編集手法である textbfEnhance textbfEditability を提案する。
  論文  参考訳（メタデータ） (2024-03-15T09:26:48Z)
• Doubly Abductive Counterfactual Inference for Text-based Image Editing [130.46583155383735]
  本稿では,1つの画像のテキストベースの画像編集(TBIE)について,反事実推論を用いて検討する。 本稿では,DAC(Dububly Abductive Counterfactual Inference framework)を提案する。 我々のDACは編集性と忠実さのトレードオフをうまく達成しています。
  論文  参考訳（メタデータ） (2024-03-05T13:59:21Z)
• BARET : Balanced Attention based Real image Editing driven by Target-text Inversion [36.59406959595952]
  本研究では, 微調整拡散モデルを用いずに, 非剛性編集を含む様々な編集タイプに対して, 入力画像とターゲットテキストのみを必要とする新しい編集手法を提案する。 I)ターゲットテキストインバージョン・スケジュール(TTIS)は、画像キャプションや収束の加速なしに高速な画像再構成を実現するために、入力対象のテキスト埋め込みを微調整するように設計されている; (II)プログレッシブ・トランジション・スキームは、ターゲットのテキスト埋め込みとその微調整バージョンの間の進行線形アプローチを適用し、非剛性編集能力を維持するための遷移埋め込みを生成する; (III) バランスド・アテンション・モジュール(BAM)は、テキスト記述と画像意味論のトレードオフをバランスさせる。
  論文  参考訳（メタデータ） (2023-12-09T07:18:23Z)
• Optimisation-Based Multi-Modal Semantic Image Editing [58.496064583110694]
  本稿では,複数の編集命令型に対応するために,推論時編集の最適化を提案する。 各損失関数の影響を調整することで、ユーザの好みに合わせてフレキシブルな編集ソリューションを構築することができる。 本手法は,テキスト,ポーズ,スクリブルといった編集条件を用いて評価し,複雑な編集を行う能力を強調した。
  論文  参考訳（メタデータ） (2023-11-28T15:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。