論文の概要: FastEdit: Fast Text-Guided Single-Image Editing via Semantic-Aware Diffusion Fine-Tuning

• arxiv url: http://arxiv.org/abs/2408.03355v1
• Date: Tue, 6 Aug 2024 09:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 14:36:13.124074
• Title: FastEdit: Fast Text-Guided Single-Image Editing via Semantic-Aware Diffusion Fine-Tuning
• Title（参考訳）: FastEdit:Semantic-Aware Diffusion Fine-Tuningによる高速テキストガイドシングルイメージ編集
• Authors: Zhi Chen, Zecheng Zhao, Yadan Luo, Zi Huang,
• Abstract要約: 我々は,テキストガイドによる高速な単一画像編集手法であるFastEditを紹介した。 FastEditは、編集プロセスを劇的に17秒に加速する。 コンテンツ追加,スタイル転送,バックグラウンド置換,姿勢操作など,有望な編集機能を示す。
• 参考スコア（独自算出の注目度）: 34.648413334901164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional Text-guided single-image editing approaches require a two-step process, including fine-tuning the target text embedding for over 1K iterations and the generative model for another 1.5K iterations. Although it ensures that the resulting image closely aligns with both the input image and the target text, this process often requires 7 minutes per image, posing a challenge for practical application due to its time-intensive nature. To address this bottleneck, we introduce FastEdit, a fast text-guided single-image editing method with semantic-aware diffusion fine-tuning, dramatically accelerating the editing process to only 17 seconds. FastEdit streamlines the generative model's fine-tuning phase, reducing it from 1.5K to a mere 50 iterations. For diffusion fine-tuning, we adopt certain time step values based on the semantic discrepancy between the input image and target text. Furthermore, FastEdit circumvents the initial fine-tuning step by utilizing an image-to-image model that conditions on the feature space, rather than the text embedding space. It can effectively align the target text prompt and input image within the same feature space and save substantial processing time. Additionally, we apply the parameter-efficient fine-tuning technique LoRA to U-net. With LoRA, FastEdit minimizes the model's trainable parameters to only 0.37\% of the original size. At the same time, we can achieve comparable editing outcomes with significantly reduced computational overhead. We conduct extensive experiments to validate the editing performance of our approach and show promising editing capabilities, including content addition, style transfer, background replacement, and posture manipulation, etc.
• Abstract（参考訳）: 従来のテキスト誘導シングルイメージ編集アプローチでは、ターゲットテキストの埋め込みを1K以上のイテレーションで微調整し、さらに1.5Kのイテレーションで生成モデルを作成するという、2段階のプロセスが必要となる。 得られた画像が入力画像とターゲットテキストの両方と密接に一致していることを保証するが、このプロセスは1画像あたり7分を要することが多く、時間集約的な性質のため実用上の課題となる。 このボトルネックに対処するため,テキストガイドによる高速な単一画像編集手法であるFastEditを導入する。 FastEditは生成モデルの微調整フェーズを合理化し、1.5Kから50イテレーションに短縮する。 拡散微調整には,入力画像と対象テキストのセマンティックな相違に基づく時間ステップ値を採用する。 さらに、FastEditは、テキスト埋め込みスペースではなく、特徴空間に条件を付けるイメージ・ツー・イメージモデルを利用することで、初期の微調整を回避している。 ターゲットのテキストプロンプトと入力イメージを同じ特徴空間内で効果的に調整し、処理時間を大幅に短縮することができる。 さらに,パラメータ効率向上技術であるLoRAをU-netに適用する。 LoRAでは、FastEditはモデルのトレーニング可能なパラメータをオリジナルのサイズの0.37\%に最小化する。 同時に、計算オーバーヘッドを大幅に削減して、同等の編集結果を得ることができる。 我々は,我々のアプローチの編集性能を検証するための広範な実験を行い,コンテンツ追加,スタイル転送,背景交換,姿勢操作など,有望な編集能力を示す。

関連論文リスト

• ReEdit: Multimodal Exemplar-Based Image Editing with Diffusion Models [11.830273909934688]
  最新のテキスト・ツー・イメージ(T2I)拡散モデルでは、高品質な画像を生成することで画像編集に革命をもたらした。 テキストと画像のモダリティの両方で編集をキャプチャする,モジュール的で効率的なエンドツーエンドフレームワークであるReEditを提案する。 以上の結果から,ReEditは定性的かつ定量的に現代的アプローチを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2024-11-06T15:19:24Z)
• TurboEdit: Instant text-based image editing [32.06820085957286]
  我々は,数ステップの拡散モデルを用いて,正確な画像逆転と非交叉画像編集の課題に対処する。 本稿では,エンコーダをベースとした反復インバージョン手法を提案する。このインバージョンネットワークは,入力画像と前ステップからの再構成画像に条件付けされており,次の再構成を入力画像に向けて修正することができる。 提案手法は, リアルタイムなテキストガイド画像編集を容易にするため, インバージョンでは8つの機能評価 (NFE) と4つのNFE (NFE) しか必要としない。
  論文  参考訳（メタデータ） (2024-08-14T18:02:24Z)
• TurboEdit: Text-Based Image Editing Using Few-Step Diffusion Models [53.757752110493215]
  テキストベースの一般的な編集フレームワーク – 編集フレンドリーなDDPM-noiseインバージョンアプローチ – に注目します。 高速サンプリング法への適用を解析し、その失敗を視覚的アーティファクトの出現と編集強度の不足という2つのクラスに分類する。 そこで我々は,新しいアーティファクトを導入することなく,効率よく編集の規模を拡大する疑似誘導手法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T17:27:28Z)
• FastDrag: Manipulate Anything in One Step [20.494157877241665]
  本稿では,FastDragというワンステップのドラッグベースの画像編集手法を導入し,編集プロセスの高速化を図る。 この革新は1段階の遅延セマンティック最適化を実現し、編集速度を大幅に向上させる。 私たちのFastDragはDragBenchデータセットで検証されています。
  論文  参考訳（メタデータ） (2024-05-24T17:59:26Z)
• Source Prompt Disentangled Inversion for Boosting Image Editability with Diffusion Models [18.75409092764653]
  テキスト駆動画像編集における重要なステップの1つは、元の画像をソースプロンプトに条件付き遅延ノイズコードに変換することである。 本稿では、ソースプロンプトの影響を低減することを目的とした、SPDInv(Source Prompt Disentangled Inversion)と呼ばれる新しい手法を提案する。 実験の結果,提案手法はターゲット編集プロンプトとソースプロンプトの衝突を効果的に軽減できることがわかった。
  論文  参考訳（メタデータ） (2024-03-17T06:19:30Z)
• Real-time 3D-aware Portrait Editing from a Single Image [111.27169315556444]
  3DPEは、参照画像やテキスト記述など、与えられたプロンプトに従って顔画像を編集することができる。 軽量モジュールは、3Dポートレートジェネレータとテキスト・ツー・イメージ・モデルから蒸留される。
  論文  参考訳（メタデータ） (2024-02-21T18:36:26Z)
• DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image Editing [66.43179841884098]
  大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。 既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。 本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
  論文  参考訳（メタデータ） (2024-02-04T18:50:29Z)
• Prompt Tuning Inversion for Text-Driven Image Editing Using Diffusion Models [6.34777393532937]
  本稿では,テキスト駆動画像編集のための高精度かつ高速な変換手法であるPrompt Tuning Inversionを提案する。 提案手法は再構築段階と編集段階から構成される。 ImageNetの実験は、最先端のベースラインと比較して、我々の手法の編集性能が優れていることを実証している。
  論文  参考訳（メタデータ） (2023-05-08T03:34:33Z)
• StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [86.92711729969488]
  我々は、画像の編集に事前訓練された拡散モデルの驚くべき能力を利用する。 彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。 選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
  論文  参考訳（メタデータ） (2023-03-28T00:16:45Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。