論文の概要: E4S: Fine-grained Face Swapping via Editing With Regional GAN Inversion
- arxiv url: http://arxiv.org/abs/2310.15081v2
- Date: Wed, 27 Dec 2023 17:11:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 21:59:16.137137
- Title: E4S: Fine-grained Face Swapping via Editing With Regional GAN Inversion
- Title（参考訳）: E4S:地域GANインバージョン編集による顔のきめ細かいスワップ
- Authors: Maomao Li, Ge Yuan, Cairong Wang, Zhian Liu, Yong Zhang, Yongwei Nie,
Jue Wang, Dong Xu
- Abstract要約: 顔交換のための編集(E4S)という,顔交換のための新しいアプローチを提案する。
本フレームワークでは,形状とテクスチャの明示的な乱れを可能にする地域GANインバージョン(RGI)手法を提案する。
私たちのE4Sは、テクスチャ、形状、照明を保存するための既存の方法よりも優れています。
- 参考スコア（独自算出の注目度）: 31.4155187410901
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel approach to face swapping from the perspective of
fine-grained facial editing, dubbed "editing for swapping" (E4S). The
traditional face swapping methods rely on global feature extraction and often
fail to preserve the source identity. In contrast, our framework proposes a
Regional GAN Inversion (RGI) method, which allows the explicit disentanglement
of shape and texture. Specifically, our E4S performs face swapping in the
latent space of a pretrained StyleGAN, where a multi-scale mask-guided encoder
is applied to project the texture of each facial component into regional style
codes and a mask-guided injection module then manipulates feature maps with the
style codes. Based on this disentanglement, face swapping can be simplified as
style and mask swapping. Besides, since reconstructing the source face in the
target image may lead to disharmony lighting, we propose to train a re-coloring
network to make the swapped face maintain the lighting condition on the target
face. Further, to deal with the potential mismatch area during mask exchange,
we designed a face inpainting network as post-processing. The extensive
comparisons with state-of-the-art methods demonstrate that our E4S outperforms
existing methods in preserving texture, shape, and lighting. Our implementation
is available at https://github.com/e4s2023/E4S2023.
- Abstract（参考訳）: 本稿では, 顔のきめ細かい編集の観点から, 顔のスワップに対する新しいアプローチを提案し, 「顔のスワップのための編集」 (E4S) について述べる。
従来のフェイススワッピング手法はグローバルな特徴抽出に依存しており、しばしばソースidの保存に失敗する。
対照的に、我々のフレームワークは、形状とテクスチャの明示的な切り離しを可能にするRegional GAN Inversion(RGI)手法を提案する。
特に,e4sでは,事前学習されたスタイルガンの潜在空間で顔スワップを行う。マルチスケールのマスクガイドエンコーダを用いて,顔成分のテクスチャを地域的なスタイルコードに投影し,マスクガイドインジェクションモジュールがスタイルコードで特徴マップを操作する。
この絡み合いに基づいて、フェイススワップはスタイルやマスクスワップとして単純化することができる。
また,対象画像の光源面の再構成は不規則な照明につながる可能性があるため,交換された面が目標面の照明条件を維持するように再色ネットワークを訓練することを提案する。
さらに,マスク交換時の潜在的なミスマッチ領域に対処するために,ポストプロセッシングとして顔ペイントネットワークを設計した。
我々のE4Sはテクスチャ、形状、照明の保存において既存の方法よりも優れています。
実装はhttps://github.com/e4s2023/e4s2023で利用可能です。
関連論文リスト
- 3D Face Arbitrary Style Transfer [18.09280257466941]
FDST(Face-Guided Dual Style Transfer)という新しい手法を提案する。
FDSTは3Dデカップリングモジュールを使用して顔の形状とテクスチャを分離する。
FDSTは、領域制御可能なスタイル転送、高忠実な顔テクスチャ再構築、芸術的な顔再構成など、多くの下流タスクに適用可能であることを示す。
論文 参考訳（メタデータ） (2023-03-14T08:51:51Z) - StyleGANEX: StyleGAN-Based Manipulation Beyond Cropped Aligned Faces [103.54337984566877]
拡張畳み込みを用いて、モデルパラメータを変更することなく、StyleGANの浅い層の受容場を再スケールする。
これにより、浅い層における固定サイズの小さなフィーチャを、可変解像度に対応できるより大きなものへと拡張することができる。
本手法は,多様な顔操作タスクにおいて,様々な解像度の顔入力を用いて検証する。
論文 参考訳（メタデータ） (2023-03-10T18:59:33Z) - End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。
顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文 参考訳（メタデータ） (2023-03-07T19:16:20Z) - LC-NeRF: Local Controllable Face Generation in Neural Randiance Field [55.54131820411912]
LC-NeRFは、ローカルリージョンジェネレータモジュールと空間認識融合モジュールで構成される。
本手法は,最先端の顔編集法よりも局所的な編集が優れている。
また,テキスト駆動型顔画像編集など,下流のタスクでもよく機能する。
論文 参考訳（メタデータ） (2023-02-19T05:50:08Z) - Fine-Grained Face Swapping via Regional GAN Inversion [18.537407253864508]
所望の微妙な幾何やテクスチャの詳細を忠実に保存する,高忠実な顔交換のための新しいパラダイムを提案する。
顔成分の形状とテクスチャの明示的な乱れに基づく枠組みを提案する。
我々のシステムの中核には、形状とテクスチャの明示的な切り離しを可能にする、新しいRegional GAN Inversion (RGI) 手法がある。
論文 参考訳（メタデータ） (2022-11-25T12:40:45Z) - IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。
IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。
定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-03-24T14:44:56Z) - MOST-GAN: 3D Morphable StyleGAN for Disentangled Face Image Manipulation [69.35523133292389]
本稿では,顔の物理的属性を明示的にモデル化するフレームワークを提案する。
提案手法であるMOST-GANは,GANの表現力と光リアリズムを,非線形3次元形態素モデルの物理的ゆがみおよび柔軟性と統合する。
ポートレート画像の物理的特性を完全に3D制御する写真リアルな操作を実現し、照明の極端な操作、表情、およびフルプロファイルビューまでのポーズのバリエーションを可能にする。
論文 参考訳（メタデータ） (2021-11-01T15:53:36Z) - HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。
本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
論文 参考訳（メタデータ） (2021-06-18T07:39:09Z) - Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。
入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。
3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
論文 参考訳（メタデータ） (2021-06-14T11:29:29Z) - FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。
本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。
本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
論文 参考訳（メタデータ） (2021-02-23T02:47:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。