論文の概要: One Shot Face Swapping on Megapixels

• arxiv url: http://arxiv.org/abs/2105.04932v1
• Date: Tue, 11 May 2021 10:41:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 20:51:34.330980
• Title: One Shot Face Swapping on Megapixels
• Title（参考訳）: メガピクセルで撮影するショットフェイススワップ
• Authors: Yuhao Zhu, Qi Li, Jian Wang, Chengzhong Xu, Zhenan Sun
• Abstract要約: 本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。 本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
• 参考スコア（独自算出の注目度）: 65.47443090320955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Face swapping has both positive applications such as entertainment, human-computer interaction, etc., and negative applications such as DeepFake threats to politics, economics, etc. Nevertheless, it is necessary to understand the scheme of advanced methods for high-quality face swapping and generate enough and representative face swapping images to train DeepFake detection algorithms. This paper proposes the first Megapixel level method for one shot Face Swapping (or MegaFS for short). Firstly, MegaFS organizes face representation hierarchically by the proposed Hierarchical Representation Face Encoder (HieRFE) in an extended latent space to maintain more facial details, rather than compressed representation in previous face swapping methods. Secondly, a carefully designed Face Transfer Module (FTM) is proposed to transfer the identity from a source image to the target by a non-linear trajectory without explicit feature disentanglement. Finally, the swapped faces can be synthesized by StyleGAN2 with the benefits of its training stability and powerful generative capability. Each part of MegaFS can be trained separately so the requirement of our model for GPU memory can be satisfied for megapixel face swapping. In summary, complete face representation, stable training, and limited memory usage are the three novel contributions to the success of our method. Extensive experiments demonstrate the superiority of MegaFS and the first megapixel level face swapping database is released for research on DeepFake detection and face image editing in the public domain. The dataset is at this link.
• Abstract（参考訳）: フェイススワッピングは、エンターテイメント、人間とコンピュータの相互作用など、ポジティブな応用と、政治や経済などに対するディープフェイクの脅威のようなネガティブな応用の両方がある。 それでも、高品質な顔交換のための高度な手法の体系を理解し、DeepFake検出アルゴリズムを訓練するために十分な代表顔交換画像を生成する必要がある。 本稿では,ワンショット顔スワッピング(略してMegaFS)のための最初のメガピクセルレベル法を提案する。 第一に、MegaFSは、従来の顔スワッピング法で圧縮された表現よりも、より詳細な顔情報を維持するために、拡張潜在空間で提案された階層表現顔エンコーダ(HieRFE)によって階層的に顔表現を編成する。 第二に,FTM (Face Transfer Module) を慎重に設計し,特徴のゆがみを伴わない非線形軌道による画像からターゲットへのアイデンティティの転送を提案する。 最後に、スワップされた顔は、トレーニング安定性と強力な生成能力の恩恵によりStyleGAN2によって合成できる。 MegaFSの各部分は個別にトレーニングできるので、GPUメモリのモデルの要求はメガピクセルの顔スワップに充足できる。 要約すると, 完全な顔表現, 安定した訓練, 限られた記憶使用量などは, 本手法の成功に対する3つの新しい貢献である。 パブリックドメインにおけるディープフェイク検出と顔画像編集の研究のために,MegaFSの優位性を実証し,最初のメガピクセルレベルの顔交換データベースをリリースした。 データセットはこのリンクにあります。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• High-Fidelity Face Swapping with Style Blending [16.024260677867076]
  高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。 まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。 第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
  論文  参考訳（メタデータ） (2023-12-17T23:22:37Z)
• HiMFR: A Hybrid Masked Face Recognition Through Face Inpainting [0.7868449549351486]
  エンドツーエンドの複合顔認証システム、HiMFRを提案する。 マスクされた顔検出モジュールは、事前訓練された視覚変換器を適用して、顔がマスクで覆われているか否かを検出する。 Inpaintingモジュールは、GAN(Generative Adversarial Network)に基づいたきめ細かい画像のインペイントモデルを使用して、顔を復元する。 最後に、EfficientNetB3バックボーンを備えたViTに基づくハイブリッド顔認識モジュールは、顔を認識する。
  論文  参考訳（メタデータ） (2022-09-19T11:26:49Z)
• Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
  本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。 本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
  論文  参考訳（メタデータ） (2022-04-26T14:36:06Z)
• GMFIM: A Generative Mask-guided Facial Image Manipulation Model for Privacy Preservation [0.7734726150561088]
  入力顔画像に知覚不可能な編集を適用するために,GANをベースとしたマスク誘導顔画像マニピュレーションモデルを提案する。 我々のモデルは、最先端の手法と比較して、自動顔認識システムに対してより良い性能を実現することができる。
  論文  参考訳（メタデータ） (2022-01-10T14:09:14Z)
• FaceTuneGAN: Face Autoencoder for Convolutional Expression Transfer Using Neural Generative Adversarial Networks [0.7043489166804575]
  顔の識別と表情を分離して符号化する新しい3次元顔モデル表現であるFaceTuneGANを提案する。 本稿では,2次元領域で使用されている画像と画像の変換ネットワークを3次元顔形状に適応させる手法を提案する。
  論文  参考訳（メタデータ） (2021-12-01T14:42:03Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Joint Face Image Restoration and Frontalization for Recognition [79.78729632975744]
  現実世界のシナリオでは、大きなポーズ、悪い照明、低解像度、ぼやけ、ノイズなど、多くの要因が顔認識性能を損なう可能性がある。 それまでの努力は通常、まず品質の低い顔から高品質な顔に復元し、次に顔認識を行う。 与えられた低品質の顔からフロンダル化された高品質の顔を復元する多段階顔復元モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-12T03:52:41Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。