論文の概要: High-Quality Real Time Facial Capture Based on Single Camera
- arxiv url: http://arxiv.org/abs/2111.07556v1
- Date: Mon, 15 Nov 2021 06:42:27 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-17 03:00:09.882744
- Title: High-Quality Real Time Facial Capture Based on Single Camera
- Title（参考訳）: 単一カメラを用いた高品質リアルタイム顔撮影
- Authors: Hongwei Xu and Leijia Dai and Jianxing Fu and Xiangyuan Wang and
Quanwei Wang
- Abstract要約: 我々は畳み込みニューラルネットワークを訓練し、ビデオトレーニングから出力される高品質な連続ブレンドシェープ重みを生成する。
我々は,目や唇などの課題領域において,魅力的なアニメーション推論を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a real time deep learning framework for video-based facial
expression capture. Our process uses a high-end facial capture pipeline based
on FACEGOOD to capture facial expression. We train a convolutional neural
network to produce high-quality continuous blendshape weight output from video
training. Since this facial capture is fully automated, our system can
drastically reduce the amount of labor involved in the development of modern
narrative-driven video games or films involving realistic digital doubles of
actors and potentially hours of animated dialogue per character. We demonstrate
compelling animation inference in challenging areas such as eyes and lips.
- Abstract（参考訳）: 映像ベースの表情キャプチャのためのリアルタイムディープラーニングフレームワークを提案する。
このプロセスでは、FACEGOODに基づくハイエンドな顔キャプチャパイプラインを使用して表情をキャプチャする。
畳み込みニューラルネットワークを訓練し,ビデオトレーニングから高品質なブレンド形状の重み付けを生成する。
この顔撮影は完全に自動化されているので、現代の物語駆動型ビデオゲームや俳優のリアルなデジタル二重化やキャラクターごとのアニメーション対話時間といった映画の開発に関わる労力を大幅に削減することができる。
我々は,目や唇などの課題領域において,魅力的なアニメーション推論を示す。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - Attention-Based VR Facial Animation with Visual Mouth Camera Guidance
for Immersive Telepresence Avatars [19.70403947793871]
本稿では,マウスカメラのキーポイントと直接視覚誘導を併用したハイブリッド手法を提案する。
提案手法は,未知の演算子に一般化され,短いビデオ2本をキャプチャして簡単なエンロラメントステップのみを必要とする。
我々は、ANAアバターXPRIZEファイナルでの勝利に顔のアニメーションがどう貢献したかを強調した。
論文 参考訳（メタデータ） (2023-12-15T12:45:11Z) - Audio-Driven Talking Face Generation with Diverse yet Realistic Facial
Animations [61.65012981435094]
DIRFAは、異なるが現実的な顔のアニメーションを同一の駆動音声から生成できる新しい方法である。
同一音声に対して妥当な顔のアニメーションの変動に対応するため,トランスフォーマーに基づく確率的マッピングネットワークを設計する。
DIRFAは現実的な顔のアニメーションを効果的に生成できることを示す。
論文 参考訳（メタデータ） (2023-04-18T12:36:15Z) - 4D Agnostic Real-Time Facial Animation Pipeline for Desktop Scenarios [8.274472944075713]
アニメーターがデスクトップ上で使用するのに適した,高精度なリアルタイム顔アニメーションパイプラインを提案する。
システムにより、アニメーターは、簡単かつ迅速に高品質な顔アニメーションを作成できる。
われわれのアプローチは、エンターテイメント業界における顔のアニメーションのやり方に革命をもたらす可能性がある。
論文 参考訳（メタデータ） (2023-04-06T01:32:58Z) - Relightable Neural Video Portrait [36.67623086400362]
Photo-realistic Face Video portrait Reenactmentは、バーチャルプロダクションと多くのVR/AR体験の恩恵を受ける。
任意の背景と照明条件を持つターゲット俳優のポートレートビデオに,頭部ポーズと表情をソースアクターから転送する,リライタブルなニューラルビデオポートレート,同時リライティングと再現方式を提案する。
論文 参考訳（メタデータ） (2021-07-30T16:20:45Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳（メタデータ） (2021-05-31T02:30:11Z) - Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。
私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
論文 参考訳（メタデータ） (2020-08-11T22:28:48Z) - ReenactNet: Real-time Full Head Reenactment [50.32988828989691]
本稿では,人間の頭部3Dポーズ,表情,視線をソースからターゲットアクターに完全に転送できるヘッドツーヘッドシステムを提案する。
本システムでは,高忠実度,時間的スムース,写真リアルな合成ビデオが生成され,ヒトの頭部特性を音源からターゲット俳優に忠実に伝達する。
論文 参考訳（メタデータ） (2020-05-22T00:51:38Z) - Audio-driven Talking Face Video Generation with Learning-based
Personalized Head Pose [67.31838207805573]
本稿では、音源者の音声信号Aと対象者の短いビデオVを入力とするディープニューラルネットワークモデルを提案する。
我々は、パーソナライズされた頭部ポーズで合成された高品質な会話顔映像を出力する。
提案手法は,最先端の手法よりも,頭部運動効果を識別し,高品質な会話顔ビデオを生成する。
論文 参考訳（メタデータ） (2020-02-24T10:02:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。