論文の概要: FACEMUG: A Multimodal Generative and Fusion Framework for Local Facial Editing

• arxiv url: http://arxiv.org/abs/2412.19009v1
• Date: Thu, 26 Dec 2024 00:53:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:25:10.469712
• Title: FACEMUG: A Multimodal Generative and Fusion Framework for Local Facial Editing
• Title（参考訳）: FACEMUG: 局所顔編集のためのマルチモーダル生成・融合フレームワーク
• Authors: Wanglong Lu, Jikai Wang, Xiaogang Jin, Xianta Jiang, Hanli Zhao,
• Abstract要約: グローバル一貫性のある局所顔編集(FACEMUG)のための新しい枠組みを提案する。 幅広い入力モダリティを処理でき、未編集の部分をそのまま残しながら細粒度で意味的な操作を可能にする。 顔の特徴の整合性を改善するために,新しい自己教師付き潜時整合アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 10.123066253648307
• License:
• Abstract: Existing facial editing methods have achieved remarkable results, yet they often fall short in supporting multimodal conditional local facial editing. One of the significant evidences is that their output image quality degrades dramatically after several iterations of incremental editing, as they do not support local editing. In this paper, we present a novel multimodal generative and fusion framework for globally-consistent local facial editing (FACEMUG) that can handle a wide range of input modalities and enable fine-grained and semantic manipulation while remaining unedited parts unchanged. Different modalities, including sketches, semantic maps, color maps, exemplar images, text, and attribute labels, are adept at conveying diverse conditioning details, and their combined synergy can provide more explicit guidance for the editing process. We thus integrate all modalities into a unified generative latent space to enable multimodal local facial edits. Specifically, a novel multimodal feature fusion mechanism is proposed by utilizing multimodal aggregation and style fusion blocks to fuse facial priors and multimodalities in both latent and feature spaces. We further introduce a novel self-supervised latent warping algorithm to rectify misaligned facial features, efficiently transferring the pose of the edited image to the given latent codes. We evaluate our FACEMUG through extensive experiments and comparisons to state-of-the-art (SOTA) methods. The results demonstrate the superiority of FACEMUG in terms of editing quality, flexibility, and semantic control, making it a promising solution for a wide range of local facial editing tasks.
• Abstract（参考訳）: 既存の顔編集法は目覚ましい結果を得たが、多モードの局所的な顔編集をサポートするには不十分であることが多い。 重要な証拠の1つは、局所的な編集をサポートしないため、インクリメンタルな編集を繰り返した後、出力画像の品質が劇的に低下することである。 本稿では,FACEMUG(False-Consistent Local Face Editor)のための新たなマルチモーダル生成・融合フレームワークを提案する。 スケッチ、セマンティックマップ、カラーマップ、模範画像、テキスト、属性ラベルを含む様々なモダリティは、様々な条件付けの詳細を伝達するのに適しており、それらの組み合わせされたシナジーは、編集プロセスに対してより明確なガイダンスを提供することができる。 したがって、全てのモダリティを統一された生成潜在空間に統合し、マルチモーダルな局所的な顔編集を可能にする。 具体的には,マルチモーダル・アグリゲーションとスタイル・フュージョン・ブロックを併用した新しいマルチモーダル・フィーチャー・フュージョン機構を提案する。 さらに,修正された画像のポーズを与えられた潜伏符号に効率よく転送し,顔の特徴の一致を補正する,新しい自己教師付き潜伏ワープアルゴリズムを導入する。 我々は、広範囲な実験とSOTA(State-of-the-art)手法との比較により、FACEMUGを評価した。 その結果、FACEMUGの編集品質、柔軟性、意味制御の面での優位性が示され、幅広い局所的な顔編集タスクにおいて有望なソリューションとなった。

関連論文リスト

• MM2Latent: Text-to-facial image generation and editing in GANs with multimodal assistance [32.70801495328193]
  マルチモーダル画像生成と編集のための実践的なフレームワークMM2Latentを提案する。 画像生成にはStyleGAN2を使用し,テキスト符号化にはFaRLを使用し,マスクやスケッチ,3DMMなどの空間変調のためのオートエンコーダを訓練する。 提案手法は,近年のGAN法や拡散法を超越したマルチモーダル画像生成において,優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-17T09:21:07Z)
• Task-Oriented Diffusion Inversion for High-Fidelity Text-based Editing [60.730661748555214]
  textbfTask-textbfOriented textbfDiffusion textbfInversion (textbfTODInv) は、特定の編集タスクに適した実際の画像を反転して編集する新しいフレームワークである。 ToDInvは相互最適化によってインバージョンと編集をシームレスに統合し、高い忠実さと正確な編集性を保証する。
  論文  参考訳（メタデータ） (2024-08-23T22:16:34Z)
• A Survey of Multimodal-Guided Image Editing with Text-to-Image Diffusion Models [117.77807994397784]
  画像編集は、ユーザーが特定の要求を満たすために、与えられた合成画像または実際の画像を編集することを目的としている。 この分野での最近の顕著な進歩は、テキスト・ツー・イメージ(T2I)拡散モデルの開発に基づいている。 T2Iベースの画像編集手法は、編集性能を大幅に向上させ、マルチモーダル入力でガイドされたコンテンツを修正するためのユーザフレンドリーなインタフェースを提供する。
  論文  参考訳（メタデータ） (2024-06-20T17:58:52Z)
• Enhancing Text-to-Image Editing via Hybrid Mask-Informed Fusion [61.42732844499658]
  本稿では拡散モデルに基づくテキスト誘導画像編集手法を体系的に改善する。 我々は、人間のアノテーションを外部知識として組み込んで、Mask-informed'領域内で編集を限定する。
  論文  参考訳（メタデータ） (2024-05-24T07:53:59Z)
• DesignEdit: Multi-Layered Latent Decomposition and Fusion for Unified & Accurate Image Editing [22.855660721387167]
  本研究では,空間認識画像編集タスクを2つのサブタスク,多層ラテント分解と多層ラテント融合の組合せに変換する。 提案手法は,自己ガイドやDiffEditorなど,最新の空間編集手法を一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T15:35:42Z)
• LoMOE: Localized Multi-Object Editing via Multi-Diffusion [8.90467024388923]
  本稿では,ゼロショットローカライズされたマルチオブジェクト編集のための新しいフレームワークを提案する。 提案手法は, 前景マスクとそれに対応する簡単なテキストプロンプトを利用して, 対象領域に局所的な影響を与える。 ラテント空間内のクロスアテンションとバックグラウンドロスの組み合わせにより、編集対象の特性が保存される。
  論文  参考訳（メタデータ） (2024-03-01T10:46:47Z)
• Consolidating Attention Features for Multi-view Image Editing [126.19731971010475]
  本研究では,空間制御に基づく幾何学的操作に着目し,様々な視点にまたがって編集プロセスを統合する手法を提案する。 編集画像の内部クエリ機能に基づいて訓練されたニューラルラジアンス場QNeRFを紹介する。 拡散時間の経過とともにクエリをよりよく統合する、プログレッシブで反復的な手法により、プロセスを洗練します。
  論文  参考訳（メタデータ） (2024-02-22T18:50:18Z)
• MAG-Edit: Localized Image Editing in Complex Scenarios via Mask-Based Attention-Adjusted Guidance [28.212908146852197]
  我々は,複雑なシナリオにおける局所的な画像編集を可能にする,トレーニング不要な推論ステージ最適化手法であるMAG-Editを開発した。 特に、MAG-Editは2つのマスクベースのクロスアテンション制約を最大化することにより拡散モデルのノイズ潜時特性を最適化する。
  論文  参考訳（メタデータ） (2023-12-18T17:55:44Z)
• Object-aware Inversion and Reassembly for Image Editing [61.19822563737121]
  オブジェクトレベルのきめ細かい編集を可能にするために,オブジェクト認識型インバージョンと再アセンブリ(OIR)を提案する。 画像の編集時に各編集ペアに対して最適な反転ステップを見つけるために,検索基準を用いる。 本手法は,オブジェクトの形状,色,材料,カテゴリなどの編集において,特に多目的編集シナリオにおいて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-10-18T17:59:02Z)
• EditGAN: High-Precision Semantic Image Editing [120.49401527771067]
  EditGANは高品質で高精度なセマンティック画像編集のための新しい手法である。 EditGANは前例のない細部と自由度で画像を操作可能であることを示す。 また、複数の編集を組み合わせることも簡単で、EditGANのトレーニングデータ以外の編集も可能になります。
  論文  参考訳（メタデータ） (2021-11-04T22:36:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。