論文の概要: Fine-Grained Face Swapping via Regional GAN Inversion
- arxiv url: http://arxiv.org/abs/2211.14068v1
- Date: Fri, 25 Nov 2022 12:40:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 17:13:01.367076
- Title: Fine-Grained Face Swapping via Regional GAN Inversion
- Title（参考訳）: 地域ganインバージョンによるきめ細かい顔スワップ
- Authors: Zhian Liu, Maomao Li, Yong Zhang, Cairong Wang, Qi Zhang, Jue Wang,
Yongwei Nie
- Abstract要約: 所望の微妙な幾何やテクスチャの詳細を忠実に保存する,高忠実な顔交換のための新しいパラダイムを提案する。
顔成分の形状とテクスチャの明示的な乱れに基づく枠組みを提案する。
- 参考スコア（独自算出の注目度）: 18.537407253864508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a novel paradigm for high-fidelity face swapping that faithfully
preserves the desired subtle geometry and texture details. We rethink face
swapping from the perspective of fine-grained face editing, \textit{i.e.,
``editing for swapping'' (E4S)}, and propose a framework that is based on the
explicit disentanglement of the shape and texture of facial components.
Following the E4S principle, our framework enables both global and local
swapping of facial features, as well as controlling the amount of partial
swapping specified by the user. Furthermore, the E4S paradigm is inherently
capable of handling facial occlusions by means of facial masks. At the core of
our system lies a novel Regional GAN Inversion (RGI) method, which allows the
explicit disentanglement of shape and texture. It also allows face swapping to
be performed in the latent space of StyleGAN. Specifically, we design a
multi-scale mask-guided encoder to project the texture of each facial component
into regional style codes. We also design a mask-guided injection module to
manipulate the feature maps with the style codes. Based on the disentanglement,
face swapping is reformulated as a simplified problem of style and mask
swapping. Extensive experiments and comparisons with current state-of-the-art
methods demonstrate the superiority of our approach in preserving texture and
shape details, as well as working with high resolution images at
1024$\times$1024.
- Abstract（参考訳）: 本稿では,所望の微妙な形状とテクスチャの詳細を忠実に保持する,高忠実な顔交換のための新しいパラダイムを提案する。
顔のきめ細かい編集の観点から、顔のスワッピングを再考し、顔成分の形状やテクスチャの明示的な乱れに基づく枠組みを提案する。
e4s原則に従い、顔の特徴のグローバルスワップとローカルスワップの両方を可能にし、ユーザが指定した部分スワップの量を制御する。
さらに、E4Sパラダイムは本質的に、顔マスクを用いて顔の閉塞を処理できる。
我々のシステムの中核には、形状とテクスチャの明示的な切り離しを可能にする新しいRegional GAN Inversion(RGI)手法がある。
また、StyleGANの潜在空間でフェイススワップを行うこともできる。
具体的には、各顔成分のテクスチャを地域スタイルのコードに投影するマルチスケールマスクガイドエンコーダを設計する。
また,スタイルコードを用いて機能マップを操作するためのマスク誘導型インジェクションモジュールも設計した。
これにより、スタイルやマスクスワップの簡易化問題として、顔スワップを再構成する。
1024$\times$1024で高解像度画像を作成するだけでなく、テクスチャや形状の保存における我々のアプローチの優位性を示す。
関連論文リスト
- MaTe3D: Mask-guided Text-based 3D-aware Portrait Editing [61.014328598895524]
textbfMaTe3D:マスク誘導型テキストベースの3D画像編集を提案する。
SDFに基づく新しい3Dジェネレータは,SDFと密度の整合性損失により局所的およびグローバルな表現を学習する。
幾何とテクスチャの条件蒸留(CDGT)は視覚的曖昧さを軽減し、テクスチャと幾何学のミスマッチを避ける。
論文 参考訳（メタデータ） (2023-12-12T03:04:08Z) - E4S: Fine-grained Face Swapping via Editing With Regional GAN Inversion [30.118316634616324]
E4S (Editing for swapping) は, きめ細かい顔編集の観点から, 顔交換の新しいアプローチである。
本稿では,形状とテクスチャの明示的なアンタングル化を可能にする地域GANインバージョン(RGI)手法を提案する。
私たちのE4Sは、テクスチャ、形状、照明を保存するための既存の方法よりも優れています。
論文 参考訳（メタデータ） (2023-10-23T16:41:13Z) - FlowFace++: Explicit Semantic Flow-supervised End-to-End Face Swapping [28.714484307143927]
FlowFace++は、明示的なセマンティックフローの監視とエンドツーエンドアーキテクチャを利用する、新しいフェイススワッピングフレームワークである。
識別器は形状を意識しており、ターゲット面とソース面との間の形状の相違を明示的に計算する意味フロー誘導操作に依存している。
論文 参考訳（メタデータ） (2023-06-22T06:18:29Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳（メタデータ） (2023-03-10T18:59:33Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳（メタデータ） (2023-03-07T19:16:20Z) - LC-NeRF: Local Controllable Face Generation in Neural Randiance Field [55.54131820411912]
LC-NeRFは、ローカルリージョンジェネレータモジュールと空間認識融合モジュールで構成される。
本手法は,最先端の顔編集法よりも局所的な編集が優れている。
また,テキスト駆動型顔画像編集など,下流のタスクでもよく機能する。
論文 参考訳（メタデータ） (2023-02-19T05:50:08Z) - IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-03-24T14:44:56Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z) - Reference-guided Face Component Editing [51.29105560090321]
本稿では,多様かつ制御可能な顔コンポーネント編集のためのr-FACE (Reference-guided FAce Component Editing) という新しいフレームワークを提案する。
具体的には、r-FACEは、顔成分の形状を制御する条件として参照画像を利用して、画像の塗装モデルをバックボーンとして利用する。
フレームワークが対象の顔成分に集中するよう促すため、基準画像から抽出した注目特徴と対象の顔成分特徴とを融合させるために、サンプル誘導注意モジュールが設計されている。
論文 参考訳（メタデータ） (2020-06-03T05:34:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。