論文の概要: ReenactNet: Real-time Full Head Reenactment
- arxiv url: http://arxiv.org/abs/2006.10500v1
- Date: Fri, 22 May 2020 00:51:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-30 09:35:40.425194
- Title: ReenactNet: Real-time Full Head Reenactment
- Title（参考訳）: ReenactNet: リアルタイムフルヘッド再現
- Authors: Mohammad Rami Koujan, Michail Christos Doukas, Anastasios Roussos,
Stefanos Zafeiriou
- Abstract要約: 本稿では,人間の頭部3Dポーズ,表情,視線をソースからターゲットアクターに完全に転送できるヘッドツーヘッドシステムを提案する。
本システムでは,高忠実度,時間的スムース,写真リアルな合成ビデオが生成され,ヒトの頭部特性を音源からターゲット俳優に忠実に伝達する。
- 参考スコア（独自算出の注目度）: 50.32988828989691
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video-to-video synthesis is a challenging problem aiming at learning a
translation function between a sequence of semantic maps and a photo-realistic
video depicting the characteristics of a driving video. We propose a
head-to-head system of our own implementation capable of fully transferring the
human head 3D pose, facial expressions and eye gaze from a source to a target
actor, while preserving the identity of the target actor. Our system produces
high-fidelity, temporally-smooth and photo-realistic synthetic videos
faithfully transferring the human time-varying head attributes from the source
to the target actor. Our proposed implementation: 1) works in real time ($\sim
20$ fps), 2) runs on a commodity laptop with a webcam as the only input, 3) is
interactive, allowing the participant to drive a target person, e.g. a
celebrity, politician, etc, instantly by varying their expressions, head pose,
and eye gaze, and visualising the synthesised video concurrently.
- Abstract（参考訳）: 映像合成は、セマンティックマップのシーケンスと、運転映像の特徴を描写した写真リアルビデオとの間の翻訳関数の学習を目的とした課題である。
対象俳優の身元を保ちながら,人間頭部の3dポーズ,表情,視線を音源から対象俳優に完全に伝達できる,私たち独自の実装のヘッド・ツー・ヘッドシステムを提案する。
本システムでは,高忠実度,時間的スムース,写真リアルな合成ビデオが生成され,ヒトの頭部特性を音源からターゲット俳優に忠実に伝達する。
提案する実装は
1)リアルタイムに動作する($\sim 20$ fps)。
2) 唯一の入力としてウェブカメラを備えたコモディティラップトップ上で動作する。
3)対話的であり、例えば有名人、政治家等が、表情、ポーズ、視線を変化させ、同時に合成された映像を視覚化することで、対象者を即座に駆動することができる。
関連論文リスト
- Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis [76.72505510632904]
長い単眼のRGBDビデオから変形可能なシーンを再構成する最初の方法であるTotal-Reconを提案する。
本手法は背景と物体にシーンを階層的に分解し,動作を根体運動と局所的調音に分解する。
論文 参考訳（メタデータ） (2023-04-24T17:59:52Z) - Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。
本稿では,音声による表情合成手法であるImitatorについて述べる。
提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
論文 参考訳（メタデータ） (2022-12-30T19:00:02Z) - Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation [12.552355581481999]
まず,30fps以上の音声信号のみを駆動する,パーソナライズされた写真リアリスティックなトーキングヘッドアニメーションを生成するライブシステムを提案する。
第1段階はディープニューラルネットワークで、ターゲットの音声空間に特徴を投影する多様体投影と共に、ディープオーディオ特徴を抽出する。
第2段階では、投影された音声特徴から顔の動きと動きを学習する。
最終段階では、過去の予測から条件付き特徴写像を生成し、画像から画像への変換ネットワークに設定した候補画像で送信し、フォトリアリスティックレンダリングを合成する。
論文 参考訳（メタデータ） (2021-09-22T08:47:43Z) - FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute
Learning [23.14865405847467]
本稿では,音声信号を入力とし,短いターゲット映像クリップを参照として,話し顔を生成する手法を提案する。
本発明の方法は、入力された音声信号と同期した自然な唇の動き、頭部ポーズ、および目の点滅で、対象の顔の写実的な映像を合成する。
実験結果とユーザスタディにより,本手法は,最先端の手法よりも優れた品質で,現実的な音声ビデオを生成することができることが示された。
論文 参考訳（メタデータ） (2021-08-18T02:10:26Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳（メタデータ） (2020-08-11T22:28:48Z) - Face2Face: Real-time Face Capture and Reenactment of RGB Videos [66.38142459175191]
Face2Faceは、モノクラーターゲットビデオシーケンスのリアルタイムな顔再現のための新しいアプローチである。
我々は、高密度光度整合度測定を用いて、音源とターゲット映像の両方の表情を追跡する。
我々は、対応するビデオストリーム上に合成されたターゲット顔を再レンダリングする。
論文 参考訳（メタデータ） (2020-07-29T12:47:16Z) - Audio-driven Talking Face Video Generation with Learning-based
Personalized Head Pose [67.31838207805573]
本稿では、音源者の音声信号Aと対象者の短いビデオVを入力とするディープニューラルネットワークモデルを提案する。
我々は、パーソナライズされた頭部ポーズで合成された高品質な会話顔映像を出力する。
提案手法は,最先端の手法よりも,頭部運動効果を識別し,高品質な会話顔ビデオを生成する。
論文 参考訳（メタデータ） (2020-02-24T10:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。