論文の概要: FaceOff: A Video-to-Video Face Swapping System

• arxiv url: http://arxiv.org/abs/2208.09788v1
• Date: Sun, 21 Aug 2022 03:18:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 13:24:44.083496
• Title: FaceOff: A Video-to-Video Face Swapping System
• Title（参考訳）: FaceOff:ビデオ対ビデオの顔スワップシステム
• Authors: Aditya Agarwal, Bipasha Sen, Rudrabha Mukhopadhyay, Vinay Namboodiri, C.V. Jawahar
• Abstract要約: ビデオ・トゥ・ビデオ(V2V)のフェイス・スワッピングは、ソース(アクター)のフェイス・ビデオのアイデンティティと表現と、ターゲット(ダブル)のビデオの背景とポーズを保存できる。 本稿では、2つの顔ビデオを統合するために、堅牢なブレンディング操作を学習して動作させるV2VフェイススワッピングシステムであるFaceOffを提案する。
• 参考スコア（独自算出の注目度）: 31.848709928693662
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Doubles play an indispensable role in the movie industry. They take the place of the actors in dangerous stunt scenes or in scenes where the same actor plays multiple characters. The double's face is later replaced with the actor's face and expressions manually using expensive CGI technology, costing millions of dollars and taking months to complete. An automated, inexpensive, and fast way can be to use face-swapping techniques that aim to swap an identity from a source face video (or an image) to a target face video. However, such methods can not preserve the source expressions of the actor important for the scene's context. % essential for the scene. % that are essential in cinemas. To tackle this challenge, we introduce video-to-video (V2V) face-swapping, a novel task of face-swapping that can preserve (1) the identity and expressions of the source (actor) face video and (2) the background and pose of the target (double) video. We propose FaceOff, a V2V face-swapping system that operates by learning a robust blending operation to merge two face videos following the constraints above. It first reduces the videos to a quantized latent space and then blends them in the reduced space. FaceOff is trained in a self-supervised manner and robustly tackles the non-trivial challenges of V2V face-swapping. As shown in the experimental section, FaceOff significantly outperforms alternate approaches qualitatively and quantitatively.
• Abstract（参考訳）: ダブルスは映画業界で欠かせない役割を演じている。 危険なスタントシーンや、同じ俳優が複数のキャラクターを演じるシーンで、俳優の代わりとなる。 ダブルの顔はその後、高価なCGI技術を使って手動で俳優の顔と表情に置き換わり、数百万ドルを投じて完成までに数ヶ月を要した。 自動化され、安価で、高速な方法は、元の顔ビデオ(または画像)からターゲットの顔ビデオにIDを交換することを目的としたフェイススワッピング技術を使用することができる。 しかし、そのような手法はシーンの文脈において重要なアクターのソース表現を保存できない。 %であった。 %であった。 この課題に対処するために,ビデオ・ツー・ビデオ(V2V)のフェイス・スワッピング,(1)ソース(アクター)の顔映像のアイデンティティと表現,(2)ターゲット(ダブル)映像の背景とポーズを保存できるフェイス・スワッピングの新たなタスクを導入する。 上記の制約に従って2つの顔ビデオを統合するために,ロバストなブレンディング操作を学習して動作するV2VフェイススワッピングシステムであるFaceOffを提案する。 まず、ビデオを量子化された潜在空間に縮小し、その後、縮小された空間にブレンドする。 FaceOffは自己指導型で訓練され、V2Vのフェイススワッピングの非自明な課題にしっかりと取り組みます。 実験セクションで示されるように、FaceOffは、定性的かつ定量的に代替アプローチを著しく上回る。

関連論文リスト

• ReliableSwap: Boosting General Face Swapping Via Reliable Supervision [9.725105108879717]
  本稿では,訓練中に対象とソースの同一性が異なる場合のイメージレベルのガイダンスとして機能する,サイクルトリプレットと呼ばれる信頼性の高い監視機能を構築することを提案する。 具体的には,顔の再現とブレンディング技術を用いて,前もって実際の画像からスワップされた顔の合成を行う。 フェーススワッピングフレームワークであるReliableSwapは、既存のフェースワップネットワークの性能を無視できるオーバーヘッドで向上させることができる。
  論文  参考訳（メタデータ） (2023-06-08T17:01:14Z)
• Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
  本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。 提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-06-27T06:48:15Z)
• Deep Face Video Inpainting via UV Mapping [20.879204880364743]
  本稿では,2段階の深層学習手法を提案する。 我々は、画像空間とUV(テクスチャ)空間の間の顔の変換に先立って、3DMMを我々の3次元顔として採用する。 ステージIでは、UV空間における顔の塗り絵を行う。これにより、顔のポーズや表情の影響を大きく取り除き、適切に整列された顔の特徴によって学習作業がより簡単になる。 ステージIIでは、塗布された顔領域を画像空間に戻し、塗布された顔領域をステージIに塗布しない背景領域に塗布し、塗布された顔領域を改質する。
  論文  参考訳（メタデータ） (2021-09-02T03:00:08Z)
• One Shot Face Swapping on Megapixels [65.47443090320955]
  本稿では,顔面スワッピング(略してMegaFS)における最初のメガピクセルレベル法を提案する。 本手法の成功に対する3つの新しい貢献は,顔の完全な表現,安定したトレーニング,限られたメモリ使用量である。
  論文  参考訳（メタデータ） (2021-05-11T10:41:47Z)
• Everything's Talkin': Pareidolia Face Reenactment [119.49707201178633]
  pareidolia face reenactmentは、ビデオ中の人間の顔とタンデムで動く静的なイラストリーフェイスのアニメーションと定義されている。 顔再現法と従来の顔再現法との差異が大きいため, 形状のばらつきとテクスチャのばらつきが導入された。 この2つの課題に取り組むために,新しいパラメトリック非教師なし再現アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-07T11:19:13Z)
• Face2Face: Real-time Face Capture and Reenactment of RGB Videos [66.38142459175191]
  Face2Faceは、モノクラーターゲットビデオシーケンスのリアルタイムな顔再現のための新しいアプローチである。 我々は、高密度光度整合度測定を用いて、音源とターゲット映像の両方の表情を追跡する。 我々は、対応するビデオストリーム上に合成されたターゲット顔を再レンダリングする。
  論文  参考訳（メタデータ） (2020-07-29T12:47:16Z)
• FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
  本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。 提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
  論文  参考訳（メタデータ） (2020-05-13T16:15:37Z)
• Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose [67.31838207805573]
  本稿では、音源者の音声信号Aと対象者の短いビデオVを入力とするディープニューラルネットワークモデルを提案する。 我々は、パーソナライズされた頭部ポーズで合成された高品質な会話顔映像を出力する。 提案手法は,最先端の手法よりも,頭部運動効果を識別し,高品質な会話顔ビデオを生成する。
  論文  参考訳（メタデータ） (2020-02-24T10:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。