論文の概要: Face2Face: Real-time Face Capture and Reenactment of RGB Videos
- arxiv url: http://arxiv.org/abs/2007.14808v1
- Date: Wed, 29 Jul 2020 12:47:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-05 20:27:19.454115
- Title: Face2Face: Real-time Face Capture and Reenactment of RGB Videos
- Title（参考訳）: Face2Face:RGBビデオのリアルタイムキャプチャと再現
- Authors: Justus Thies and Michael Zollh\"ofer and Marc Stamminger and Christian
Theobalt and Matthias Nie{\ss}ner
- Abstract要約: Face2Faceは、モノクラーターゲットビデオシーケンスのリアルタイムな顔再現のための新しいアプローチである。
我々は、高密度光度整合度測定を用いて、音源とターゲット映像の両方の表情を追跡する。
我々は、対応するビデオストリーム上に合成されたターゲット顔を再レンダリングする。
- 参考スコア（独自算出の注目度）: 66.38142459175191
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Face2Face, a novel approach for real-time facial reenactment of a
monocular target video sequence (e.g., Youtube video). The source sequence is
also a monocular video stream, captured live with a commodity webcam. Our goal
is to animate the facial expressions of the target video by a source actor and
re-render the manipulated output video in a photo-realistic fashion. To this
end, we first address the under-constrained problem of facial identity recovery
from monocular video by non-rigid model-based bundling. At run time, we track
facial expressions of both source and target video using a dense photometric
consistency measure. Reenactment is then achieved by fast and efficient
deformation transfer between source and target. The mouth interior that best
matches the re-targeted expression is retrieved from the target sequence and
warped to produce an accurate fit. Finally, we convincingly re-render the
synthesized target face on top of the corresponding video stream such that it
seamlessly blends with the real-world illumination. We demonstrate our method
in a live setup, where Youtube videos are reenacted in real time.
- Abstract（参考訳）: モノクラーターゲットビデオシーケンス(YouTubeビデオなど)のリアルタイムな顔再現のための新しいアプローチであるFace2Faceを提示する。
ソースシーケンスは、コモディティのウェブカメラでライブ撮影された単眼ビデオストリームでもある。
我々のゴールは、ソースアクターによるターゲットビデオの表情をアニメーション化し、操作された出力ビデオを再レンダリングすることである。
そこで本研究では,非剛性モデルを用いたバンドルによる単眼映像からの顔認証の復元について,まず検討する。
実行時,ソースとターゲットの両方の動画の表情を,高濃度フォトメトリック一貫性尺度を用いて追跡する。
その後、ソースとターゲット間の高速かつ効率的な変形移動により再生する。
再ターゲット表現に最も適した口内は、ターゲットシーケンスから取り出され、正確に適合するように反動される。
最後に,実世界の照明とシームレスに融合するように,対応する映像ストリームの上に合成された対象の顔を再レンダリングする。
われわれは,YouTubeビデオがリアルタイムに再現されるライブセットアップで本手法を実演する。
関連論文リスト
- Identity-Preserving Talking Face Generation with Landmark and Appearance
Priors [106.79923577700345]
既存の人物生成法は、現実的でリップ同期のビデオを生成するのに困難である。
本稿では,ランドマーク生成とランドマーク・ツー・ビデオレンダリングによる2段階のフレームワークを提案する。
提案手法は,既存の対人顔生成法よりも現実的で,リップシンクで,アイデンティティを保ったビデオを生成することができる。
論文 参考訳（メタデータ） (2023-05-15T01:31:32Z) - Video2StyleGAN: Encoding Video in Latent Space for Manipulation [63.03250800510085]
本稿では,顔映像のセマンティックな操作のために,顔映像をStyleGANの潜在空間に符号化する新しいネットワークを提案する。
提案手法は,リアルタイム(66fps)の高速化を実現しつつ,既存の単一画像手法よりも大幅に優れる。
論文 参考訳（メタデータ） (2022-06-27T06:48:15Z) - Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。
現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。
本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。
本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
論文 参考訳（メタデータ） (2022-05-03T08:45:22Z) - Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。
駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。
我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
論文 参考訳（メタデータ） (2020-06-17T23:38:37Z) - ReenactNet: Real-time Full Head Reenactment [50.32988828989691]
本稿では,人間の頭部3Dポーズ,表情,視線をソースからターゲットアクターに完全に転送できるヘッドツーヘッドシステムを提案する。
本システムでは,高忠実度,時間的スムース,写真リアルな合成ビデオが生成され,ヒトの頭部特性を音源からターゲット俳優に忠実に伝達する。
論文 参考訳（メタデータ） (2020-05-22T00:51:38Z) - Everybody's Talkin': Let Me Talk as You Want [134.65914135774605]
本稿では,写真リアルな映像を合成するために,音声のシーケンスを入力とし,対象の肖像画を編集する手法を提案する。
任意のソースオーディオを任意のビデオ出力に変換することのできる、個人固有のレンダリングネットワークを前提としない。
論文 参考訳（メタデータ） (2020-01-15T09:54:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。