論文の概要: Blended Diffusion for Text-driven Editing of Natural Images

• arxiv url: http://arxiv.org/abs/2111.14818v1
• Date: Mon, 29 Nov 2021 18:58:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 16:30:14.383021
• Title: Blended Diffusion for Text-driven Editing of Natural Images
• Title（参考訳）: 自然画像のテキスト駆動編集のためのブレンド拡散
• Authors: Omri Avrahami, Dani Lischinski, Ohad Fried
• Abstract要約: 本稿では,局所的な(地域をベースとした)編集を自然言語で行うための最初のソリューションを提案する。 我々は、事前訓練された言語画像モデル(CLIP)を活用し、組み合わせることで、目標を達成する。 画像の異なる部分で編集された領域をシームレスに融合させるため、入力画像のノイズバージョンと局所テキスト誘導拡散潜時を空間的にブレンドする。
• 参考スコア（独自算出の注目度）: 18.664733153082146
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Natural language offers a highly intuitive interface for image editing. In this paper, we introduce the first solution for performing local (region-based) edits in generic natural images, based on a natural language description along with an ROI mask. We achieve our goal by leveraging and combining a pretrained language-image model (CLIP), to steer the edit towards a user-provided text prompt, with a denoising diffusion probabilistic model (DDPM) to generate natural-looking results. To seamlessly fuse the edited region with the unchanged parts of the image, we spatially blend noised versions of the input image with the local text-guided diffusion latent at a progression of noise levels. In addition, we show that adding augmentations to the diffusion process mitigates adversarial results. We compare against several baselines and related methods, both qualitatively and quantitatively, and show that our method outperforms these solutions in terms of overall realism, ability to preserve the background and matching the text. Finally, we show several text-driven editing applications, including adding a new object to an image, removing/replacing/altering existing objects, background replacement, and image extrapolation.
• Abstract（参考訳）: 自然言語は画像編集のための非常に直感的なインターフェースを提供する。 本稿では、ROIマスクとともに自然言語記述に基づいて、局所的な(地域をベースとした)編集を行うための最初のソリューションを提案する。 我々は,事前学習した言語画像モデル(clip)を利用して,ユーザの入力したテキストプロンプトに対して編集を制御し,ddpm(denoising diffusion probabilistic model)を用いて自然な結果を生成する。 画像の異なる部分で編集された領域をシームレスに融合させるため、入力画像のノイズバージョンと局所テキスト誘導拡散潜時をノイズレベルの進行時に空間的にブレンドする。 さらに,拡散過程に拡張を加えることで,敵対的な結果が軽減されることを示す。 本手法は,いくつかのベースラインと関連する手法と,質的および定量的に比較し,全体的なリアリズム,背景保存能力,テキストマッチング能力において,これらの解よりも優れていることを示す。 最後に,画像への新しいオブジェクトの追加,既存オブジェクトの削除・更新・変更,背景の置換,画像の補間など,テキスト駆動の編集アプリケーションをいくつか紹介する。

関連論文リスト

• TurboEdit: Text-Based Image Editing Using Few-Step Diffusion Models [53.757752110493215]
  テキストベースの一般的な編集フレームワーク – 編集フレンドリーなDDPM-noiseインバージョンアプローチ – に注目します。 高速サンプリング法への適用を解析し、その失敗を視覚的アーティファクトの出現と編集強度の不足という2つのクラスに分類する。 そこで我々は,新しいアーティファクトを導入することなく,効率よく編集の規模を拡大する疑似誘導手法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T17:27:28Z)
• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• Brush Your Text: Synthesize Any Scene Text on Images via Diffusion Model [31.819060415422353]
  Diff-Textは、任意の言語のためのトレーニング不要のシーンテキスト生成フレームワークである。 本手法は, テキスト認識の精度と, 前景と後景のブレンディングの自然性の両方において, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-12-19T15:18:40Z)
• Text-Driven Image Editing via Learnable Regions [74.45313434129005]
  本研究では,ユーザが提供するマスクやスケッチを必要とせずに,テキストプロンプトによって駆動される領域ベースの画像編集手法を提案する。 この単純なアプローチにより、現在の画像生成モデルと互換性のあるフレキシブルな編集が可能になることを示す。 実験では,提案した言語記述に対応する忠実度とリアリズムの高い画像の操作において,提案手法の競合性能を示す。
  論文  参考訳（メタデータ） (2023-11-28T02:27:31Z)
• Dynamic Prompt Learning: Addressing Cross-Attention Leakage for Text-Based Image Editing [23.00202969969574]
  そこで本稿では,テキストプロンプト中の名詞の正しい単語に注意を向けるために,クロスアテンションマップを強制する動的プロンプト学習(DPL)を提案する。 本稿では,Word-Swap, Prompt Refinement, Attention Re-weightingの編集結果の改善について述べる。
  論文  参考訳（メタデータ） (2023-09-27T13:55:57Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• SpaText: Spatio-Textual Representation for Controllable Image Generation [61.89548017729586]
  SpaTextはオープン語彙シーン制御を用いたテキスト・ツー・イメージ生成の新しい手法である。 シーン全体を記述したグローバルテキストプロンプトに加えて、ユーザはセグメンテーションマップを提供する。 現状拡散モデルである画素ベースと潜在条件ベースでの有効性を示す。
  論文  参考訳（メタデータ） (2022-11-25T18:59:10Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。