論文の概要: KV-Edit: Training-Free Image Editing for Precise Background Preservation

• arxiv url: http://arxiv.org/abs/2502.17363v2
• Date: Tue, 25 Feb 2025 09:42:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 11:58:59.746801
• Title: KV-Edit: Training-Free Image Editing for Precise Background Preservation
• Title（参考訳）: KV-Edit: 正確な背景保存のためのトレーニング不要の画像編集
• Authors: Tianrui Zhu, Shiyi Zhang, Jiawei Shao, Yansong Tang,
• Abstract要約: KV-Editはトレーニング不要のアプローチで、バックグラウンドの一貫性を維持するためにDiTのKVキャッシュを使用する。 我々のアプローチは、追加のトレーニングなしでDiTベースの生成モデルと互換性がある。
• 参考スコア（独自算出の注目度）: 18.124911508377384
• License:
• Abstract: Background consistency remains a significant challenge in image editing tasks. Despite extensive developments, existing works still face a trade-off between maintaining similarity to the original image and generating content that aligns with the target. Here, we propose KV-Edit, a training-free approach that uses KV cache in DiTs to maintain background consistency, where background tokens are preserved rather than regenerated, eliminating the need for complex mechanisms or expensive training, ultimately generating new content that seamlessly integrates with the background within user-provided regions. We further explore the memory consumption of the KV cache during editing and optimize the space complexity to $O(1)$ using an inversion-free method. Our approach is compatible with any DiT-based generative model without additional training. Experiments demonstrate that KV-Edit significantly outperforms existing approaches in terms of both background and image quality, even surpassing training-based methods. Project webpage is available at https://xilluill.github.io/projectpages/KV-Edit
• Abstract（参考訳）: 背景の一貫性は、画像編集タスクにおいて重要な課題である。 大規模な開発にもかかわらず、既存の作業は、元のイメージと類似性を維持することと、ターゲットと整合したコンテンツを生成することの間のトレードオフに直面している。 ここでは,背景整合性を維持するためにDiTのKVキャッシュを使用するトレーニングフリーのアプローチであるKV-Editを提案し,背景トークンを再生するのではなく保存し,複雑なメカニズムや高価なトレーニングの必要性を排除し,最終的にはユーザが提供する領域内のバックグラウンドとシームレスに統合する新たなコンテンツを生成する。 さらに,編集中のKVキャッシュのメモリ消費について検討し,インバージョンフリー手法を用いて空間複雑性を$O(1)$に最適化する。 我々のアプローチは、追加のトレーニングなしでDiTベースの生成モデルと互換性がある。 実験により、KV-Editは、バックグラウンドと画像品質の両方において既存のアプローチよりも大幅に優れており、トレーニングベースの手法を超越していることが示された。 プロジェクトのWebページはhttps://xilluill.github.io/projectpages/KV-Editで公開されている。

関連論文リスト

• Uniform Attention Maps: Boosting Image Fidelity in Reconstruction and Editing [66.48853049746123]
  構造的視点から再構築を解析し、従来の横断的注意を一様注意マップに置き換える新しいアプローチを提案する。 本手法は,ノイズ予測時のテキスト条件の変化による歪みを効果的に抑制する。 実験結果から,本手法は高忠実度画像再構成に優れるだけでなく,実際の画像合成や編集のシナリオにも頑健に機能することが示された。
  論文  参考訳（メタデータ） (2024-11-29T12:11:28Z)
• Stable Flow: Vital Layers for Training-Free Image Editing [74.52248787189302]
  拡散モデルはコンテンツ合成と編集の分野に革命をもたらした。 最近のモデルでは、従来のUNetアーキテクチャをDiffusion Transformer (DiT)に置き換えている。 画像形成に欠かせないDiT内の「硝子層」を自動同定する手法を提案する。 次に、実画像編集を可能にするために、フローモデルのための改良された画像反転手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T18:59:51Z)
• Coherent and Multi-modality Image Inpainting via Latent Space Optimization [61.99406669027195]
  PILOT(intextbfPainting vtextbfIa textbfOptextbfTimization)は、新しいテキストセマンティック中央化とテキストセマンティック保存損失に基づく最適化手法である。 本手法は,背景とのコヒーレンスを維持しつつ,ユーザが提供するプロンプトに対して高い忠実度を示す塗装領域を生成できる潜時空間を探索する。
  論文  参考訳（メタデータ） (2024-07-10T19:58:04Z)
• The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing [3.58736715327935]
  本稿では,w-latentとF-latentの両方で編集できる新しい方法であるStyleFeatureEditorを紹介する。 また、Fレイテンシーを正確に編集するためのモデルをトレーニングするために特別に設計された新しいトレーニングパイプラインも提示する。 提案手法は最先端の符号化手法と比較し, モデルが復元品質の点で優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-15T11:28:32Z)
• Designing a Better Asymmetric VQGAN for StableDiffusion [73.21783102003398]
  革命的なテキスト・ツー・イメージ生成器であるStableDiffusionは、VQGANを介して潜時空間の拡散モデルを学ぶ。 2つの単純な設計を持つ新しい非対称VQGANを提案する。 StableDiffusionベースの塗り絵やローカル編集手法で広く用いられる。
  論文  参考訳（メタデータ） (2023-06-07T17:56:02Z)
• ReGeneration Learning of Diffusion Models with Rich Prompts for Zero-Shot Image Translation [8.803251014279502]
  大規模なテキスト・ツー・イメージモデルは、多彩で高忠実な画像を合成する素晴らしい能力を示した。 現在のモデルでは、編集プロセス中に元の画像の内容に大きな変更を加えることができる。 画像と画像の拡散モデル(ReDiffuser)における再生学習を提案する。
  論文  参考訳（メタデータ） (2023-05-08T12:08:12Z)
• Eliminating Contextual Prior Bias for Semantic Image Editing via Dual-Cycle Diffusion [35.95513392917737]
  Dual-Cycle Diffusionと呼ばれる新しいアプローチは、画像編集をガイドするアンバイアスマスクを生成する。 提案手法の有効性を実証し,D-CLIPスコアを0.272から0.283に改善した。
  論文  参考訳（メタデータ） (2023-02-05T14:30:22Z)
• StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN [4.7590051176368915]
  実画像をStyleGANの潜伏空間に変換することは、広く研究されている問題である。 画像再構成の忠実さと画像編集の質とのトレードオフは、依然としてオープンな課題である。 高品質な編集による高忠実度画像インバージョンを実現するための新しい画像インバージョンフレームワークとトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-12-29T16:14:09Z)
• Overparameterization Improves StyleGAN Inversion [66.8300251627992]
  既存の反転アプローチは、有望だが不完全な結果が得られる。 これにより、エンコーダを必要とせずに、ほぼ完璧な画像再構成が得られることを示す。 われわれのアプローチは、画像間の現実的な補間による編集可能性も維持する。
  論文  参考訳（メタデータ） (2022-05-12T18:42:43Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。