Fugu-MT 論文翻訳(概要): FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment

論文の概要: FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment

arxiv url: http://arxiv.org/abs/2202.12972v1
Date: Fri, 25 Feb 2022 21:04:39 GMT
ステータス: 処理完了
システム内更新日: 2022-03-01 15:43:52.990710
Title: FSGANv2: Improved Subject Agnostic Face Swapping and Reenactment
Title（参考訳）: FSGANv2: 顔スワッピングと再現の改善
Authors: Yuval Nirkin, Yosi Keller, Tal Hassner
Abstract要約: 顔交換と再現のためにFSGAN(Face Swapping GAN)を提案する。従来とは違って,顔のトレーニングを必要とせず,顔のペアに適用可能な被験者交換方式を提案する。顔の表情や表情の変化を調整し、単一の画像やビデオシーケンスに適用できる、新しい反復的深層学習に基づく顔の再現手法を導出する。映像系列に対しては,再現性,デラウネー三角測量,バリ座標に基づく連続的な顔ビューの認識を導入し,顔領域をフェースコンプリートネットワークで処理する。
参考スコア（独自算出の注目度）: 28.83743270895698
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Face Swapping GAN (FSGAN) for face swapping and reenactment. Unlike previous work, we offer a subject agnostic swapping scheme that can be applied to pairs of faces without requiring training on those faces. We derive a novel iterative deep learning--based approach for face reenactment which adjusts significant pose and expression variations that can be applied to a single image or a video sequence. For video sequences, we introduce a continuous interpolation of the face views based on reenactment, Delaunay Triangulation, and barycentric coordinates. Occluded face regions are handled by a face completion network. Finally, we use a face blending network for seamless blending of the two faces while preserving the target skin color and lighting conditions. This network uses a novel Poisson blending loss combining Poisson optimization with a perceptual loss. We compare our approach to existing state-of-the-art systems and show our results to be both qualitatively and quantitatively superior. This work describes extensions of the FSGAN method, proposed in an earlier conference version of our work, as well as additional experiments and results.
Abstract（参考訳）: 顔交換と再現のためにFSGAN(Face Swapping GAN)を提案する。従来とは違って,顔のトレーニングを必要とせず,顔のペアに適用可能な対象非依存スワップ方式を提案する。本研究では,1つの画像や映像列に適用可能な重要なポーズや表現のバリエーションを調整できる,新しい反復的ディープラーニングに基づく顔再現手法を提案する。映像系列に対しては,再現性,デラウナイ三角測量,および偏心座標に基づく連続的な顔の補間を導入する。蓄積された顔領域は、フェース補完ネットワークによって処理される。最後に,顔ブレンディングネットワークを用いて,肌の色や照明条件を保ちながら,両顔のシームレスなブレンドを行う。このネットワークは、ポアソン最適化と知覚損失を組み合わせた新しいポアソン混合損失を使用する。本手法を既存の最先端システムと比較し, 質的, 定量的に両立することを示す。本研究は,本研究のカンファレンス版で提案されているfsgan法の拡張と追加実験と結果について述べる。

関連論文リスト

OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文参考訳（メタデータ） (2024-11-26T07:07:48Z)
Realistic and Efficient Face Swapping: A Unified Approach with Diffusion Models [69.50286698375386]
フェース・スワッピングのための拡散モデルを改善する新しい手法を提案する。インペイントトレーニング中にマスクシャッフル技術を導入し、スワップのためのいわゆるユニバーサルモデルを作成することができる。私たちのアプローチは比較的統一されたアプローチなので、他のオフザシェルフモデルのエラーに対して耐性があります。
論文参考訳（メタデータ） (2024-09-11T13:43:53Z)
E2F-Net: Eyes-to-Face Inpainting via StyleGAN Latent Space [4.110419543591102]
我々は、E2F-Net(Eyes-to-Face Network)と呼ばれるGANベースのモデルを提案する。提案手法は,2つの専用エンコーダを用いて眼周囲領域から同一性および非同一性の特徴を抽出する。提案手法は,現在の手法を超越して,高品質な顔全体の再構築に成功していることを示す。
論文参考訳（メタデータ） (2024-03-18T19:11:34Z)
High-Fidelity Face Swapping with Style Blending [16.024260677867076]
高忠実な顔交換のための革新的なエンドツーエンドフレームワークを提案する。まず、スタイルGANベースの顔属性エンコーダを導入し、顔から重要な特徴を抽出し、潜在スタイルコードに変換する。第二に、ターゲットからターゲットへFace IDを効果的に転送するアテンションベースのスタイルブレンディングモジュールを導入する。
論文参考訳（メタデータ） (2023-12-17T23:22:37Z)
End-to-end Face-swapping via Adaptive Latent Representation Learning [12.364688530047786]
本稿では,高精細・高精細・高精細・高精細・高精細な顔交換のための新しいエンドツーエンド統合フレームワークを提案する。顔の知覚とブレンドをエンドツーエンドのトレーニングとテストのプロセスに統合することで、野生の顔に高いリアルな顔スワッピングを実現することができる。
論文参考訳（メタデータ） (2023-03-07T19:16:20Z)
Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior [29.17397958948725]
本稿では,前向きに顔の再生を行うブラインド・フェイス・リカバリ・ネットワークを提案する。我々のモデルは、顔の復元や顔の超解像処理において、従来の技術よりも優れている。
論文参考訳（メタデータ） (2022-05-28T09:23:48Z)
UniFaceGAN: A Unified Framework for Temporally Consistent Facial Video Editing [78.26925404508994]
我々は,UniFaceGANと呼ばれる時間的に一貫した顔画像編集フレームワークを提案する。本フレームワークは,顔交換と顔再現を同時に行うように設計されている。現状の顔画像編集法と比較すると,本フレームワークはより写実的で時間的に滑らかな映像像を生成する。
論文参考訳（メタデータ） (2021-08-12T10:35:22Z)
Heterogeneous Face Frontalization via Domain Agnostic Learning [74.86585699909459]
本研究では, 視覚領域における正面視を, ポーズのバリエーションで合成できるドメイン非依存学習型生成逆数ネットワーク(DAL-GAN)を提案する。 DAL-GANは、補助分類器を備えたジェネレータと、より優れた合成のために局所的およびグローバルなテクスチャ識別をキャプチャする2つの識別器から構成される。
論文参考訳（メタデータ） (2021-07-17T20:41:41Z)
Everything's Talkin': Pareidolia Face Reenactment [119.49707201178633]
pareidolia face reenactmentは、ビデオ中の人間の顔とタンデムで動く静的なイラストリーフェイスのアニメーションと定義されている。顔再現法と従来の顔再現法との差異が大きいため, 形状のばらつきとテクスチャのばらつきが導入された。この2つの課題に取り組むために,新しいパラメトリック非教師なし再現アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-04-07T11:19:13Z)
High Resolution Face Editing with Masked GAN Latent Code Optimization [0.0]
顔の編集はコンピュータビジョンコミュニティで人気のある研究トピックである。最近の提案手法は、条件付きエンコーダデコーダであるGAN(Generative Adversarial Network)をエンドツーエンドでトレーニングするか、事前に訓練されたバニラGANジェネレータモデルの潜時空間での動作を定義するかのいずれかである。空間的および意味的制約を伴ったGAN組み込み最適化手順を提案する。
論文参考訳（メタデータ） (2021-03-20T08:39:41Z)
InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
論文参考訳（メタデータ） (2020-05-18T18:01:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。