論文の概要: FuseAnyPart: Diffusion-Driven Facial Parts Swapping via Multiple Reference Images
- arxiv url: http://arxiv.org/abs/2410.22771v2
- Date: Mon, 11 Nov 2024 10:04:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 17:14:19.669116
- Title: FuseAnyPart: Diffusion-Driven Facial Parts Swapping via Multiple Reference Images
- Title（参考訳）: FuseAnyPart:複数参照画像による拡散駆動顔部品のスワッピング
- Authors: Zheng Yu, Yaohua Wang, Siying Cui, Aixi Zhang, Wei-Long Zheng, Senzhang Wang,
- Abstract要約: 顔部分交換は、ターゲット画像の残りの部分を維持しつつ、ソース画像からターゲット画像への関心領域を選択的に転送することを目的としている。
フルフェイススワップ用に特別に設計されたフェイススワップに関するほとんどの研究は、個々の顔部品のスワップに関して、不可能または著しく制限されている。
FuseAnyPartは、顔のシームレスな"fuuse-any-part"カスタマイズを容易にするために提案されている。
- 参考スコア（独自算出の注目度）: 23.463026918629236
- License:
- Abstract: Facial parts swapping aims to selectively transfer regions of interest from the source image onto the target image while maintaining the rest of the target image unchanged. Most studies on face swapping designed specifically for full-face swapping, are either unable or significantly limited when it comes to swapping individual facial parts, which hinders fine-grained and customized character designs. However, designing such an approach specifically for facial parts swapping is challenged by a reasonable multiple reference feature fusion, which needs to be both efficient and effective. To overcome this challenge, FuseAnyPart is proposed to facilitate the seamless "fuse-any-part" customization of the face. In FuseAnyPart, facial parts from different people are assembled into a complete face in latent space within the Mask-based Fusion Module. Subsequently, the consolidated feature is dispatched to the Addition-based Injection Module for fusion within the UNet of the diffusion model to create novel characters. Extensive experiments qualitatively and quantitatively validate the superiority and robustness of FuseAnyPart. Source codes are available at https://github.com/Thomas-wyh/FuseAnyPart.
- Abstract（参考訳）: 顔部分交換は、ターゲット画像の残りの部分を維持しつつ、ソース画像からターゲット画像への関心領域を選択的に転送することを目的としている。
顔のスワップに特化して設計された顔のスワップに関するほとんどの研究は、個々の顔部分のスワップに関して、不可能または著しく制限されている。
しかし, 顔部品交換に特化してそのようなアプローチを設計するには, 効率的かつ効果的である必要がある, 合理的な多重参照特徴融合が課題である。
この課題を克服するために、FuseAnyPartは、顔のシームレスな"fuuse-any-part"カスタマイズを容易にするために提案されている。
FuseAnyPartでは、異なる人物の顔部品がMaskベースのFusion Module内の潜在空間の完全な顔に組み立てられている。
その後、統合された機能は、拡散モデルのUNet内で融合するためにAddition-based Injection Moduleに送られ、新しい文字を生成する。
FuseAny Partの優位性とロバスト性について定性的かつ定量的に検証した。
ソースコードはhttps://github.com/Thomas-wyh/FuseAnyPart.comで入手できる。
関連論文リスト
- Fusion from Decomposition: A Self-Supervised Approach for Image Fusion and Beyond [74.96466744512992]
画像融合の本質は、ソース画像からの相補的な情報を統合することである。
DeFusion++は、画像融合の品質を高め、下流の高レベル視覚タスクの有効性を高める、汎用的な融合表現を生成する。
論文 参考訳（メタデータ） (2024-10-16T06:28:49Z) - Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。
インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。
私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文 参考訳（メタデータ） (2024-09-11T13:43:53Z) - FlowFace++: Explicit Semantic Flow-supervised End-to-End Face Swapping [28.714484307143927]
FlowFace++は、明示的なセマンティックフローの監視とエンドツーエンドアーキテクチャを利用する、新しいフェイススワッピングフレームワークである。
識別器は形状を意識しており、ターゲット面とソース面との間の形状の相違を明示的に計算する意味フロー誘導操作に依存している。
論文 参考訳（メタデータ） (2023-06-22T06:18:29Z) - ReliableSwap: Boosting General Face Swapping Via Reliable Supervision [9.725105108879717]
本稿では,訓練中に対象とソースの同一性が異なる場合のイメージレベルのガイダンスとして機能する,サイクルトリプレットと呼ばれる信頼性の高い監視機能を構築することを提案する。
具体的には,顔の再現とブレンディング技術を用いて,前もって実際の画像からスワップされた顔の合成を行う。
フェーススワッピングフレームワークであるReliableSwapは、既存のフェースワップネットワークの性能を無視できるオーバーヘッドで向上させることができる。
論文 参考訳（メタデータ） (2023-06-08T17:01:14Z) - Fine-Grained Face Swapping via Regional GAN Inversion [18.537407253864508]
所望の微妙な幾何やテクスチャの詳細を忠実に保存する,高忠実な顔交換のための新しいパラダイムを提案する。
顔成分の形状とテクスチャの明示的な乱れに基づく枠組みを提案する。
我々のシステムの中核には、形状とテクスチャの明示的な切り離しを可能にする、新しいRegional GAN Inversion (RGI) 手法がある。
論文 参考訳（メタデータ） (2022-11-25T12:40:45Z) - What makes you, you? Analyzing Recognition by Swapping Face Parts [25.96441722307888]
視覚, 鼻, 口などの異なる顔部位の認識関係を解消する手段として, 顔部位を交換することを提案する。
本手法では,部品間の高密度画素対応性を確立した3D前処理を行うことにより,部品を原面からターゲット面に交換する。
次に、シームレスクローニングを用いて、マッピングされたソース領域と対象の顔の形状と肌のトーンの間のスムーズな遷移を得る。
論文 参考訳（メタデータ） (2022-06-23T14:59:18Z) - Learning Disentangled Representation for One-shot Progressive Face
Swapping [65.98684203654908]
ジェネレーティブ・アドバーサリアル・ネットワークに基づくワンショット・フェイススワップのためのシンプルで効率的なFaceSwapperを提案する。
提案手法は,不整合表現モジュールと意味誘導融合モジュールから構成される。
その結果,本手法は,トレーニングサンプルの少ないベンチマークで最先端の結果が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-24T11:19:04Z) - One Shot Face Swapping on Megapixels [65.47443090320955]
本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。
本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
論文 参考訳（メタデータ） (2021-05-11T10:41:47Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z) - Reference-guided Face Component Editing [51.29105560090321]
本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。
具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。
フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
論文 参考訳（メタデータ） (2020-06-03T05:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。