論文の概要: PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing

• arxiv url: http://arxiv.org/abs/2306.16894v2
• Date: Mon, 21 Jul 2025 09:39:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:31.589491
• Title: PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing
• Title（参考訳）: PFB-Diff:テキスト駆動画像編集のためのプログレッシブな特徴ブレンディング拡散
• Authors: Wenjing Huang, Shikui Tu, Lei Xu,
• Abstract要約: PFB-Diffは拡散に基づく画像編集のためのプログレッシブ・フィーチャーブレンディング法である。 PFB-Diffは多レベル特徴ブレンディングによりテキスト誘導された生成されたコンテンツをターゲット画像にシームレスに統合する。 本手法は、微調整や訓練を必要とせず、編集精度と画質の点で優れた性能を示す。
• 参考スコア（独自算出の注目度）: 9.333499287832202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion models have demonstrated their ability to generate diverse and high-quality images, sparking considerable interest in their potential for real image editing applications. However, existing diffusion-based approaches for local image editing often suffer from undesired artifacts due to the latent-level blending of the noised target images and diffusion latent variables, which lack the necessary semantics for maintaining image consistency. To address these issues, we propose PFB-Diff, a Progressive Feature Blending method for Diffusion-based image editing. Unlike previous methods, PFB-Diff seamlessly integrates text-guided generated content into the target image through multi-level feature blending. The rich semantics encoded in deep features and the progressive blending scheme from high to low levels ensure semantic coherence and high quality in edited images. Additionally, we introduce an attention masking mechanism in the cross-attention layers to confine the impact of specific words to desired regions, further improving the performance of background editing and multi-object replacement. PFB-Diff can effectively address various editing tasks, including object/background replacement and object attribute editing. Our method demonstrates its superior performance in terms of editing accuracy and image quality without the need for fine-tuning or training. Our implementation is available at https://github.com/CMACH508/PFB-Diff.
• Abstract（参考訳）: 拡散モデルは、多種多様な高品質の画像を生成する能力を示しており、実際の画像編集アプリケーションに対する可能性に大きな関心を喚起している。 しかし、局所的な画像編集のための既存の拡散ベースのアプローチは、ノイズ対象画像と拡散潜時変数の潜在レベルブレンディングにより、望ましくないアーティファクトに悩まされることが多く、画像整合性を維持するために必要な意味論が欠如している。 これらの問題に対処するために,拡散に基づく画像編集のためのプログレッシブ特徴ブレンディング手法であるPFB-Diffを提案する。 従来の方法とは異なり、PFB-Diffはマルチレベルの特徴ブレンディングを通じてテキスト誘導された生成コンテンツをターゲット画像にシームレスに統合する。 深い特徴を符号化したリッチなセマンティックスと、高度から低レベルのプログレッシブブレンディングスキームは、編集画像のセマンティックコヒーレンスと高品質を保証します。 さらに,特定の単語が所望の領域に与える影響を抑えるために,クロスアテンション層にアテンションマスキング機構を導入し,背景編集やマルチオブジェクト置換の性能を向上させる。 PFB-Diffは、オブジェクト/バックグラウンド置換やオブジェクト属性編集など、様々な編集タスクに効果的に対処できる。 本手法は、微調整や訓練を必要とせず、編集精度と画質の点で優れた性能を示す。 私たちの実装はhttps://github.com/CMACH508/PFB-Diff.comで公開されています。

関連論文リスト

• AttentionDrag: Exploiting Latent Correlation Knowledge in Pre-trained Diffusion Models for Image Editing [33.74477787349966]
  本研究では,AttentionDragという一段階のポイントベース画像編集手法を提案する。 このフレームワークは、大規模な再最適化や再トレーニングを必要とせずに、セマンティック一貫性と高品質な操作を可能にする。 以上の結果から,最先端の手法をはるかに高速に超越した性能を示す。
  論文  参考訳（メタデータ） (2025-06-16T09:42:38Z)
• Generative Image Layer Decomposition with Visual Effects [49.75021036203426]
  LayerDecompは、イメージ層分解のための生成フレームワークである。 清潔な背景と、忠実に保存された視覚効果を持つ高品質な透明な前景を作り出す。 本手法は,オブジェクト除去や空間編集作業において,既存の手法よりも優れた分解特性を実現する。
  論文  参考訳（メタデータ） (2024-11-26T20:26:49Z)
• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• Enhancing Text-to-Image Editing via Hybrid Mask-Informed Fusion [61.42732844499658]
  本稿では拡散モデルに基づくテキスト誘導画像編集手法を体系的に改善する。 我々は、人間のアノテーションを外部知識として組み込んで、Mask-informed'領域内で編集を限定する。
  論文  参考訳（メタデータ） (2024-05-24T07:53:59Z)
• Streamlining Image Editing with Layered Diffusion Brushes [8.738398948669609]
  我々のシステムは、ハイエンドの消費者向けGPUを使用して、140ミリ秒以内の512x512画像に1回の編集を行う。 提案手法は,オブジェクト属性の調整,エラー訂正,逐次的なプロンプトベースのオブジェクト配置と操作など,さまざまなタスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-05-01T04:30:03Z)
• Towards Understanding Cross and Self-Attention in Stable Diffusion for Text-Guided Image Editing [47.71851180196975]
  チューニング不要のテキストガイド画像編集(TIE)は、アプリケーション開発者にとって非常に重要である。 深部探索解析を行い、安定拡散における交差アテンションマップは、しばしば物体の帰属情報を含むことを示す。 対照的に、自己注意マップは、ソース画像の幾何学的および形状的詳細を保存する上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-03-06T03:32:56Z)
• DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image Editing [66.43179841884098]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。 既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。 本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
  論文  参考訳（メタデータ） (2024-02-04T18:50:29Z)
• BARET : Balanced Attention based Real image Editing driven by Target-text Inversion [36.59406959595952]
  本研究では, 微調整拡散モデルを用いずに, 非剛性編集を含む様々な編集タイプに対して, 入力画像とターゲットテキストのみを必要とする新しい編集手法を提案する。 I)ターゲットテキストインバージョン・スケジュール(TTIS)は、画像キャプションや収束の加速なしに高速な画像再構成を実現するために、入力対象のテキスト埋め込みを微調整するように設計されている; (II)プログレッシブ・トランジション・スキームは、ターゲットのテキスト埋め込みとその微調整バージョンの間の進行線形アプローチを適用し、非剛性編集能力を維持するための遷移埋め込みを生成する; (III) バランスド・アテンション・モジュール(BAM)は、テキスト記述と画像意味論のトレードオフをバランスさせる。
  論文  参考訳（メタデータ） (2023-12-09T07:18:23Z)
• DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing [94.24479528298252]
  DragGANは、ピクセルレベルの精度で印象的な編集結果を実現する、インタラクティブなポイントベースの画像編集フレームワークである。 大規模な事前学習拡散モデルを利用することで、実画像と拡散画像の両方における対話的点ベース編集の適用性を大幅に向上する。 本稿では,対話的点ベース画像編集手法の性能を評価するため,DragBenchというベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2023-06-26T06:04:09Z)
• LayerDiffusion: Layered Controlled Image Editing with Diffusion Models [5.58892860792971]
  LayerDiffusionはセマンティックベースの階層制御画像編集手法である。 我々は、大規模テキスト・画像モデルを活用し、階層化された制御最適化戦略を採用する。 実験により,高コヒーレント画像の生成における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-30T01:26:41Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。