論文の概要: Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models

• arxiv url: http://arxiv.org/abs/2305.04441v1
• Date: Mon, 8 May 2023 03:34:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 15:44:54.275282
• Title: Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models
• Title（参考訳）: 拡散モデルを用いたテキスト駆動画像編集のためのプロンプトチューニングインバージョン
• Authors: Wenkai Dong, Song Xue, Xiaoyue Duan, Shumin Han
• Abstract要約: 本稿では,テキスト駆動画像編集のための高精度かつ高速な変換手法であるPrompt Tuning Inversionを提案する。 提案手法は再構築段階と編集段階から構成される。 ImageNetの実験は、最先端のベースラインと比較して、我々の手法の編集性能が優れていることを実証している。
• 参考スコア（独自算出の注目度）: 6.34777393532937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently large-scale language-image models (e.g., text-guided diffusion models) have considerably improved the image generation capabilities to generate photorealistic images in various domains. Based on this success, current image editing methods use texts to achieve intuitive and versatile modification of images. To edit a real image using diffusion models, one must first invert the image to a noisy latent from which an edited image is sampled with a target text prompt. However, most methods lack one of the following: user-friendliness (e.g., additional masks or precise descriptions of the input image are required), generalization to larger domains, or high fidelity to the input image. In this paper, we design an accurate and quick inversion technique, Prompt Tuning Inversion, for text-driven image editing. Specifically, our proposed editing method consists of a reconstruction stage and an editing stage. In the first stage, we encode the information of the input image into a learnable conditional embedding via Prompt Tuning Inversion. In the second stage, we apply classifier-free guidance to sample the edited image, where the conditional embedding is calculated by linearly interpolating between the target embedding and the optimized one obtained in the first stage. This technique ensures a superior trade-off between editability and high fidelity to the input image of our method. For example, we can change the color of a specific object while preserving its original shape and background under the guidance of only a target text prompt. Extensive experiments on ImageNet demonstrate the superior editing performance of our method compared to the state-of-the-art baselines.
• Abstract（参考訳）: 近年の大規模言語画像モデル(テキスト誘導拡散モデルなど)では、様々な領域でフォトリアリスティックな画像を生成する画像生成能力が大幅に向上している。 この成功に基づいて、現在の画像編集法は、直感的で汎用的な画像修正を実現するためにテキストを使用する。 拡散モデルを用いて実際の画像を編集するには、まず、編集された画像を対象のテキストプロンプトでサンプリングするノイズのある潜伏状態に変換する必要がある。 しかし、ほとんどの手法では、ユーザーフレンドリさ(例えば、追加のマスクや入力画像の正確な記述が必要)、より大きな領域への一般化、入力画像への高忠実さの1つが欠落している。 本稿では,テキスト駆動画像編集のための高精度かつ迅速な変換手法であるPrompt Tuning Inversionを設計する。 具体的には,再構成段階と編集段階からなる編集手法を提案する。 第1段階では,入力画像の情報をPrompt Tuning Inversion経由で学習可能な条件埋め込みに符号化する。 第2段階では,対象埋め込みと第1段で得られた最適化画像とを線形補間することにより条件埋め込みを計算した編集画像のサンプルに分類器フリーガイダンスを適用する。 この手法は, 編集性と入力画像に対する忠実度を両立させるものである。 例えば、ターゲットテキストプロンプトのみのガイダンスの下で、元の形状と背景を維持しながら、特定のオブジェクトの色を変更することができる。 ImageNetの大規模な実験は、最先端のベースラインと比較して、我々の手法の編集性能が優れていることを示した。

関連論文リスト

• TurboEdit: Instant text-based image editing [32.06820085957286]
  我々は,数ステップの拡散モデルを用いて,正確な画像逆転と非交叉画像編集の課題に対処する。 本稿では,エンコーダをベースとした反復インバージョン手法を提案する。このインバージョンネットワークは,入力画像と前ステップからの再構成画像に条件付けされており,次の再構成を入力画像に向けて修正することができる。 提案手法は, リアルタイムなテキストガイド画像編集を容易にするため, インバージョンでは8つの機能評価 (NFE) と4つのNFE (NFE) しか必要としない。
  論文  参考訳（メタデータ） (2024-08-14T18:02:24Z)
• TurboEdit: Text-Based Image Editing Using Few-Step Diffusion Models [53.757752110493215]
  テキストベースの一般的な編集フレームワーク – 編集フレンドリーなDDPM-noiseインバージョンアプローチ – に注目します。 高速サンプリング法への適用を解析し、その失敗を視覚的アーティファクトの出現と編集強度の不足という2つのクラスに分類する。 そこで我々は,新しいアーティファクトを導入することなく,効率よく編集の規模を拡大する疑似誘導手法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T17:27:28Z)
• Tuning-Free Image Customization with Image and Text Guidance [65.9504243633169]
  テキスト画像の同時カスタマイズのためのチューニング不要なフレームワークを提案する。 提案手法は,テキスト記述に基づく詳細な属性の修正が可能でありながら,参照画像のセマンティックな特徴を保っている。 提案手法は,人的・定量的評価において,従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-19T11:48:35Z)
• StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [86.92711729969488]
  我々は、画像の編集に事前訓練された拡散モデルの驚くべき能力を利用する。 彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。 選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
  論文  参考訳（メタデータ） (2023-03-28T00:16:45Z)
• Zero-shot Image-to-Image Translation [57.46189236379433]
  手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。 本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。 本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
  論文  参考訳（メタデータ） (2023-02-06T18:59:51Z)
• Imagen Editor and EditBench: Advancing and Evaluating Text-Guided Image Inpainting [53.708523312636096]
  本稿では,テキスト誘導画像のインペイントを微調整し,カスケード拡散モデルであるImagen Editorを提案する。 編集はテキストプロンプトに忠実で、オブジェクト検出器を使用してトレーニング中に塗装マスクを提案する。 質的,定量的な評価を改善するために,テキスト誘導画像の塗り絵の体系的ベンチマークであるEditBenchを導入する。
  論文  参考訳（メタデータ） (2022-12-13T21:25:11Z)
• Null-text Inversion for Editing Real Images using Guided Diffusion Models [44.27570654402436]
  精度の高い逆変換手法を導入し、直感的なテキストベースの画像修正を容易にする。 我々のNull-textインバージョンは、公開されている安定拡散モデルに基づいて、様々な画像に対して広範囲に評価し、迅速な編集を行う。
  論文  参考訳（メタデータ） (2022-11-17T18:58:14Z)
• Direct Inversion: Optimization-Free Text-Driven Real Image Editing with Diffusion Models [0.0]
  本稿では,テキストプロンプトを介し,複雑な非厳密な編集を1つの実画像に適用する最適化フリーでゼロな微調整フレームワークを提案する。 高品質,多様性,セマンティック・コヒーレント,忠実な実画像編集において,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-15T01:07:38Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)
• UniTune: Text-Driven Image Editing by Fine Tuning a Diffusion Model on a Single Image [2.999198565272416]
  我々は,画像生成モデルを単一画像上で微調整することで,画像編集モデルに変換できることを観察する。 我々は、任意の画像とテキストによる編集記述を入力として取得し、入力画像への忠実度を維持しながら編集を行う、新しい画像編集方法UniTuneを提案する。 従来不可能であった視覚的変化を必要とするものを含む,驚くほど広い範囲の表現的編集操作を行うことが可能であることを実証した。
  論文  参考訳（メタデータ） (2022-10-17T23:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。