論文の概要: DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing

• arxiv url: http://arxiv.org/abs/2403.14487v1
• Date: Thu, 21 Mar 2024 15:35:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 13:39:41.916277
• Title: DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing
• Title（参考訳）: DesignEdit: 統一された正確な画像編集のための多層遅延分解と融合
• Authors: Yueru Jia, Yuhui Yuan, Aosong Cheng, Chuke Wang, Ji Li, Huizhu Jia, Shanghang Zhang,
• Abstract要約: 本研究では,空間認識画像編集タスクを2つのサブタスク,多層ラテント分解と多層ラテント融合の組合せに変換する。 提案手法は,自己ガイドやDiffEditorなど,最新の空間編集手法を一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 22.855660721387167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, how to achieve precise image editing has attracted increasing attention, especially given the remarkable success of text-to-image generation models. To unify various spatial-aware image editing abilities into one framework, we adopt the concept of layers from the design domain to manipulate objects flexibly with various operations. The key insight is to transform the spatial-aware image editing task into a combination of two sub-tasks: multi-layered latent decomposition and multi-layered latent fusion. First, we segment the latent representations of the source images into multiple layers, which include several object layers and one incomplete background layer that necessitates reliable inpainting. To avoid extra tuning, we further explore the inner inpainting ability within the self-attention mechanism. We introduce a key-masking self-attention scheme that can propagate the surrounding context information into the masked region while mitigating its impact on the regions outside the mask. Second, we propose an instruction-guided latent fusion that pastes the multi-layered latent representations onto a canvas latent. We also introduce an artifact suppression scheme in the latent space to enhance the inpainting quality. Due to the inherent modular advantages of such multi-layered representations, we can achieve accurate image editing, and we demonstrate that our approach consistently surpasses the latest spatial editing methods, including Self-Guidance and DiffEditor. Last, we show that our approach is a unified framework that supports various accurate image editing tasks on more than six different editing tasks.
• Abstract（参考訳）: 近年,テキスト・画像生成モデルの顕著な成功を考えると,画像編集の精度向上が注目されている。 様々な空間認識画像編集能力を一つのフレームワークに統合するために、設計領域のレイヤの概念を採用し、様々な操作で柔軟にオブジェクトを操作する。 鍵となる洞察は、空間認識画像編集タスクを2つのサブタスク、多層潜時分解と多層潜時融合の組合せに変換することである。 まず、ソース画像の潜伏表現を複数の層に分割し、複数のオブジェクト層と、信頼性の高いインペイントを必要とする1つの不完全な背景層を含む。 余分なチューニングを避けるため、自己保持機構の内面塗布能力をさらに探求する。 本研究では,マスク外領域への影響を緩和しつつ,周囲のコンテキスト情報をマスク領域に伝播させるキー・メイキング・セルフアテンション・スキームを提案する。 第2に,多層ラテント表現をキャンバスラテントに貼り付ける命令誘導ラテント融合を提案する。 また, 塗装品質を高めるため, 潜伏空間にアーチファクト抑制手法を導入する。 このような多層表現のモジュラー性により,画像編集の精度が向上し,自己ガイドやDiffEditorなど最新の空間編集手法を一貫して超越していることが実証された。 最後に,本手法は,6つ以上の編集タスクにおいて,様々な正確な画像編集タスクをサポートする統一的なフレームワークであることを示す。

関連論文リスト

• Streamlining Image Editing with Layered Diffusion Brushes [8.738398948669609]
  我々のシステムは、ハイエンドの消費者向けGPUを使用して、140ミリ秒以内の512x512画像に1回の編集を行う。 提案手法は,オブジェクト属性の調整,エラー訂正,逐次的なプロンプトベースのオブジェクト配置と操作など,さまざまなタスクに対して有効性を示す。
  論文  参考訳（メタデータ） (2024-05-01T04:30:03Z)
• BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion [61.90969199199739]
  BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。 BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:31Z)
• LoMOE: Localized Multi-Object Editing via Multi-Diffusion [8.90467024388923]
  本稿では,ゼロショットローカライズされたマルチオブジェクト編集のための新しいフレームワークを提案する。 提案手法は, 前景マスクとそれに対応する簡単なテキストプロンプトを利用して, 対象領域に局所的な影響を与える。 ラテント空間内のクロスアテンションとバックグラウンドロスの組み合わせにより、編集対象の特性が保存される。
  論文  参考訳（メタデータ） (2024-03-01T10:46:47Z)
• Consolidating Attention Features for Multi-view Image Editing [126.19731971010475]
  本研究では,空間制御に基づく幾何学的操作に着目し,様々な視点にまたがって編集プロセスを統合する手法を提案する。 編集画像の内部クエリ機能に基づいて訓練されたニューラルラジアンス場QNeRFを紹介する。 拡散時間の経過とともにクエリをよりよく統合する、プログレッシブで反復的な手法により、プロセスを洗練します。
  論文  参考訳（メタデータ） (2024-02-22T18:50:18Z)
• PFB-Diff: Progressive Feature Blending Diffusion for Text-driven Image Editing [8.19063619210761]
  PFB-Diffは拡散に基づく画像編集のためのプログレッシブ・フィーチャーブレンディング法である。 本手法は, 画像の忠実度, 編集精度, 効率, 忠実度において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-28T11:10:20Z)
• LayerDiffusion: Layered Controlled Image Editing with Diffusion Models [5.58892860792971]
  LayerDiffusionはセマンティックベースの階層制御画像編集手法である。 我々は、大規模テキスト・画像モデルを活用し、階層化された制御最適化戦略を採用する。 実験により,高コヒーレント画像の生成における本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-05-30T01:26:41Z)
• MasaCtrl: Tuning-Free Mutual Self-Attention Control for Consistent Image Synthesis and Editing [54.712205852602736]
  MasaCtrlは、一貫した画像生成と複雑な非剛性画像編集を同時に行うためのチューニング不要な手法である。 具体的には、既存の拡散モデルにおける自己アテンションを相互の自己アテンションに変換することで、ソース画像から相関したローカル内容やテクスチャをクエリして一貫性を実現する。 大規模な実験により、提案したMashoCtrlは、一貫性のある画像生成と複雑な非厳密な実画像編集の両方において、印象的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-04-17T17:42:19Z)
• DiffEdit: Diffusion-based semantic image editing with mask guidance [64.555930158319]
  DiffEditは、セマンティック画像編集のタスクにテキスト条件付き拡散モデルを利用する方法である。 私たちの主なコントリビューションは、編集が必要な入力画像の領域をハイライトするマスクを自動的に生成できることです。
  論文  参考訳（メタデータ） (2022-10-20T17:16:37Z)
• SpaceEdit: Learning a Unified Editing Space for Open-Domain Image Editing [94.31103255204933]
  オープンドメイン画像の色やトーン調整に着目したオープンドメイン画像編集のための統一モデルを提案する。 我々のモデルは、よりセマンティックで直感的で操作が容易な統合編集空間を学習する。 画像ペアを学習した編集空間の潜在コードに変換することで、下流編集タスクに我々のモデルを活用できることが示される。
  論文  参考訳（メタデータ） (2021-11-30T23:53:32Z)
• Look here! A parametric learning based approach to redirect visual attention [49.609412873346386]
  画像領域を微妙な画像編集によってより注目度の高いものにするための自動手法を提案する。 我々のモデルは、前景および背景画像領域に適用可能な、異なるグローバルパラメトリック変換セットを予測する。 編集により、任意の画像サイズでインタラクティブなレートでの推論が可能になり、簡単に動画に一般化できる。
  論文  参考訳（メタデータ） (2020-08-12T16:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。