論文の概要: E4S: Fine-grained Face Swapping via Editing With Regional GAN Inversion
- arxiv url: http://arxiv.org/abs/2310.15081v3
- Date: Wed, 27 Mar 2024 13:23:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 22:52:43.079716
- Title: E4S: Fine-grained Face Swapping via Editing With Regional GAN Inversion
- Title（参考訳）: E4S:地域GANインバージョン編集による顔のきめ細かいスワップ
- Authors: Maomao Li, Ge Yuan, Cairong Wang, Zhian Liu, Yong Zhang, Yongwei Nie, Jue Wang, Dong Xu,
- Abstract要約: E4S (Editing for swapping) は, きめ細かい顔編集の観点から, 顔交換の新しいアプローチである。
本稿では,形状とテクスチャの明示的なアンタングル化を可能にする地域GANインバージョン(RGI)手法を提案する。
私たちのE4Sは、テクスチャ、形状、照明を保存するための既存の方法よりも優れています。
- 参考スコア（独自算出の注目度）: 30.118316634616324
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel approach to face swapping from the perspective of fine-grained facial editing, dubbed "editing for swapping" (E4S). The traditional face swapping methods rely on global feature extraction and fail to preserve the detailed source identity. In contrast, we propose a Regional GAN Inversion (RGI) method, which allows the explicit disentanglement of shape and texture. Specifically, our E4S performs face swapping in the latent space of a pretrained StyleGAN, where a multi-scale mask-guided encoder is applied to project the texture of each facial component into regional style codes and a mask-guided injection module manipulating feature maps with the style codes. Based on this disentanglement, face swapping can be simplified as style and mask swapping. Besides, due to the large lighting condition gap, transferring the source skin into the target image may lead to disharmony lighting. We propose a re-coloring network to make the swapped face maintain the target lighting condition while preserving the source skin. Further, to deal with the potential mismatch areas during mask exchange, we design a face inpainting module to refine the face shape. The extensive comparisons with state-of-the-art methods demonstrate that our E4S outperforms existing methods in preserving texture, shape, and lighting. Our implementation is available at https://github.com/e4s2024/E4S2024.
- Abstract（参考訳）: 本稿では, 顔のきめ細かい編集の観点から, 顔のスワップに対する新しいアプローチを提案し, 「顔のスワップのための編集」 (E4S) について述べる。
従来のフェイススワップ方式はグローバルな特徴抽出に依存しており、詳細な情報源のアイデンティティを保存できない。
対照的に、形状とテクスチャの明示的な乱れを可能にするRegional GAN Inversion(RGI)手法を提案する。
具体的には,各顔成分のテクスチャを局所的なスタイルコードに投影するマルチスケールマスク誘導エンコーダと,特徴マップをスタイルコードで操作するマスク誘導インジェクションモジュールを用いて,事前訓練されたスタイルGANの潜時空間で顔交換を行う。
この絡み合いに基づいて、フェイススワップはスタイルやマスクスワップとして単純化することができる。
また、照明条件のギャップが大きいため、ターゲット画像に原肌を移すと不規則な点灯につながる可能性がある。
そこで本研究では,スワップされた顔が元の皮膚を保ちながら目標の照明条件を維持するための再色ネットワークを提案する。
さらに,マスク交換時の潜在的なミスマッチ領域に対処するために,顔形状を洗練するための顔塗装モジュールを設計する。
我々のE4Sはテクスチャ、形状、照明の保存において既存の方法よりも優れています。
私たちの実装はhttps://github.com/e4s2024/E4S2024で公開されています。
関連論文リスト
- 3D Face Arbitrary Style Transfer [18.09280257466941]
FDST(Face-Guided Dual Style Transfer)という新しい手法を提案する。
FDSTは3Dデカップリングモジュールを使用して顔の形状とテクスチャを分離する。
FDSTは、領域制御可能なスタイル転送、高忠実な顔テクスチャ再構築、芸術的な顔再構成など、多くの下流タスクに適用可能であることを示す。
論文 参考訳（メタデータ） (2023-03-14T08:51:51Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳（メタデータ） (2023-03-10T18:59:33Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳（メタデータ） (2023-03-07T19:16:20Z) - LC-NeRF: Local Controllable Face Generation in Neural Randiance Field [55.54131820411912]
LC-NeRFは、ローカルリージョンジェネレータモジュールと空間認識融合モジュールで構成される。
本手法は,最先端の顔編集法よりも局所的な編集が優れている。
また,テキスト駆動型顔画像編集など,下流のタスクでもよく機能する。
論文 参考訳（メタデータ） (2023-02-19T05:50:08Z) - Fine-Grained Face Swapping via Regional GAN Inversion [18.537407253864508]
所望の微妙な幾何やテクスチャの詳細を忠実に保存する,高忠実な顔交換のための新しいパラダイムを提案する。
顔成分の形状とテクスチャの明示的な乱れに基づく枠組みを提案する。
我々のシステムの中核には、形状とテクスチャの明示的な切り離しを可能にする、新しいRegional GAN Inversion (RGI) 手法がある。
論文 参考訳（メタデータ） (2022-11-25T12:40:45Z) - IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-03-24T14:44:56Z) - MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。
提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。
ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
論文 参考訳（メタデータ） (2021-11-01T15:53:36Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。
入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。
3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:29:29Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。