論文の概要: Relightable Neural Video Portrait
- arxiv url: http://arxiv.org/abs/2107.14735v1
- Date: Fri, 30 Jul 2021 16:20:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-02 12:55:58.448330
- Title: Relightable Neural Video Portrait
- Title（参考訳）: 楽しいニューラルビデオポートレート
- Authors: Youjia Wang, Taotao Zhou, Minzhang Li, Teng Xu, Minye Wu, Lan Xu,
Jingyi Yu
- Abstract要約: Photo-realistic Face Video portrait Reenactmentは、バーチャルプロダクションと多くのVR/AR体験の恩恵を受ける。
任意の背景と照明条件を持つターゲット俳優のポートレートビデオに,頭部ポーズと表情をソースアクターから転送する,リライタブルなニューラルビデオポートレート,同時リライティングと再現方式を提案する。
- 参考スコア（独自算出の注目度）: 36.67623086400362
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Photo-realistic facial video portrait reenactment benefits virtual production
and numerous VR/AR experiences. The task remains challenging as the portrait
should maintain high realism and consistency with the target environment. In
this paper, we present a relightable neural video portrait, a simultaneous
relighting and reenactment scheme that transfers the head pose and facial
expressions from a source actor to a portrait video of a target actor with
arbitrary new backgrounds and lighting conditions. Our approach combines 4D
reflectance field learning, model-based facial performance capture and
target-aware neural rendering. Specifically, we adopt a rendering-to-video
translation network to first synthesize high-quality OLAT imagesets and alpha
mattes from hybrid facial performance capture results. We then design a
semantic-aware facial normalization scheme to enable reliable explicit control
as well as a multi-frame multi-task learning strategy to encode content,
segmentation and temporal information simultaneously for high-quality
reflectance field inference. After training, our approach further enables
photo-realistic and controllable video portrait editing of the target
performer. Reliable face poses and expression editing is obtained by applying
the same hybrid facial capture and normalization scheme to the source video
input, while our explicit alpha and OLAT output enable high-quality relit and
background editing. With the ability to achieve simultaneous relighting and
reenactment, we are able to improve the realism in a variety of virtual
production and video rewrite applications.
- Abstract（参考訳）: Photo-realistic Face Video portrait Reenactmentは、バーチャルプロダクションと多くのVR/AR体験に役立つ。
ポートレートは高いリアリズムと目標環境との整合性を維持する必要があるため、課題は残る。
本稿では,任意の背景と照明条件を持つターゲット俳優の肖像映像に,頭部のポーズと表情をソースアクターから転送する,再生可能なニューラルビデオポートレート,同時リライティングと再現方式を提案する。
提案手法は, 4次元反射場学習, モデルベース顔認識, ターゲット認識ニューラルレンダリングを組み合わせた。
具体的には,ハイクオリティなolat画像セットとアルファマットを合成するレンダリング・ビデオ翻訳ネットワークを採用する。
次に,信頼性の高い明示的な制御を可能にするための意味認識型顔正規化スキームと,高品質な反射場推論のためのコンテンツ,セグメンテーション,時間情報を同時にエンコードするマルチフレームマルチタスク学習戦略を設計する。
訓練後,本手法により,対象パフォーマーの写実的かつ制御可能な映像画像編集が可能となる。
ソースビデオ入力に同一のハイブリッド顔キャプチャおよび正規化スキームを適用して信頼性の高い顔ポーズ及び表情編集を行い、一方、明快なアルファおよびolat出力により高品質なリライトおよび背景編集が可能となる。
再現と再現を同時に行うことで、様々なバーチャルプロダクションおよびビデオリライトアプリケーションにおけるリアリズムを改善することができる。
関連論文リスト
- Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。
事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。
これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
論文 参考訳（メタデータ） (2024-07-15T07:16:11Z) - ReliTalk: Relightable Talking Portrait Generation from a Single Video [62.47116237654984]
ReliTalkは、モノクロビデオから再生可能なオーディオ駆動型音声ポートレート生成のための新しいフレームワークである。
我々の重要な洞察は、ポートレートの反射を暗黙的に学習された音声駆動の顔の正常と画像から分解することである。
論文 参考訳（メタデータ） (2023-09-05T17:59:42Z) - HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and
Retarget Faces [47.27033282706179]
提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。
提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。
我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
論文 参考訳（メタデータ） (2023-07-20T11:59:42Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - NARRATE: A Normal Assisted Free-View Portrait Stylizer [42.38374601073052]
NARRATEは、ポートレートライティングと視点をフォトリアリスティックな方法で同時に編集できる新しいパイプラインである。
実験により、NARRATEは、先行研究よりも、よりフォトリアリスティックで信頼性の高い結果が得られることを示した。
さまざまなAR/VRアプリケーションを支援するために,鮮明なフリービューの顔アニメーションと3D対応のライライザライゼーションを紹介した。
論文 参考訳（メタデータ） (2022-07-03T07:54:05Z) - High-Quality Real Time Facial Capture Based on Single Camera [0.0]
我々は畳み込みニューラルネットワークを訓練し、ビデオトレーニングから出力される高品質な連続ブレンドシェープ重みを生成する。
我々は,目や唇などの課題領域において,魅力的なアニメーション推論を示す。
論文 参考訳（メタデータ） (2021-11-15T06:42:27Z) - Image-to-Video Generation via 3D Facial Dynamics [78.01476554323179]
静止画像から様々な映像を生成するために多目的モデルであるFaceAnimeを提案する。
私たちのモデルは、顔ビデオや顔ビデオの予測など、さまざまなAR/VRやエンターテイメントアプリケーションに汎用的です。
論文 参考訳（メタデータ） (2021-05-31T02:30:11Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z) - Head2Head++: Deep Facial Attributes Re-Targeting [6.230979482947681]
我々は,顔の3次元形状とGANを利用して,顔と頭部の再現作業のための新しいディープラーニングアーキテクチャを設計する。
駆動単眼動作から複雑な非剛性顔の動きを捉え,時間的に一貫した映像を合成する。
我々のシステムは、ほぼリアルタイムでエンドツーエンドの再現(18fps)を行う。
論文 参考訳（メタデータ） (2020-06-17T23:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。