論文の概要: FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation

• arxiv url: http://arxiv.org/abs/2108.04913v1
• Date: Tue, 10 Aug 2021 20:41:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 20:23:48.483387
• Title: FLAME-in-NeRF : Neural control of Radiance Fields for Free View Face Animation
• Title（参考訳）: FLAME-in-NeRF : 自由視点顔アニメーションのための放射場ニューラル制御
• Authors: ShahRukh Athar, Zhixin Shu, Dimitris Samaras
• Abstract要約: 本稿では,映像合成のためのニューラルレンダリング手法を提案する。 3次元形態素顔モデル(3DMM)の表情空間を利用して表情の分布を表現した。 本稿では,写真表現制御によるポートレートビデオのフリービュー合成における提案手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 37.39945646282971
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a neural rendering method for controllable portrait video synthesis. Recent advances in volumetric neural rendering, such as neural radiance fields (NeRF), has enabled the photorealistic novel view synthesis of static scenes with impressive results. However, modeling dynamic and controllable objects as part of a scene with such scene representations is still challenging. In this work, we design a system that enables both novel view synthesis for portrait video, including the human subject and the scene background, and explicit control of the facial expressions through a low-dimensional expression representation. We leverage the expression space of a 3D morphable face model (3DMM) to represent the distribution of human facial expressions, and use it to condition the NeRF volumetric function. Furthermore, we impose a spatial prior brought by 3DMM fitting to guide the network to learn disentangled control for scene appearance and facial actions. We demonstrate the effectiveness of our method on free view synthesis of portrait videos with expression controls. To train a scene, our method only requires a short video of a subject captured by a mobile device.
• Abstract（参考訳）: 本稿では,映像合成のためのニューラルレンダリング手法を提案する。 ニューラルレイディアンス・フィールド(NeRF)のようなボリューム・ニューラルレンダリングの最近の進歩は、印象的な結果を伴う静的シーンのフォトリアリスティック・ノベルビュー合成を可能にした。 しかし、このようなシーン表現のあるシーンの一部として動的かつ制御可能なオブジェクトをモデリングすることは依然として困難である。 本研究では,人物とシーン背景を含むポートレートビデオの新しいビュー合成と,低次元表現表現による表情の明示的な制御を実現するシステムの設計を行う。 本研究では,3次元形態素顔モデル(3DMM)の表情空間を利用して表情の分布を表現し,NeRFボリューム関数の条件付けを行う。 さらに,3DMMの装着によってもたらされた空間的先入観をネットワークに誘導し,シーンの外観や顔の動作に対する不整合制御を学習する。 本手法は,表現制御を施したポートレート映像のフリービュー合成に有効であることを示す。 シーンを訓練するには,モバイルデバイスで撮影された被写体の短い映像のみが必要となる。

関連論文リスト

• Controllable Dynamic Appearance for Neural 3D Portraits [54.29179484318194]
  実環境下での3D画像の完全制御を可能にするシステムであるCoDyNeRFを提案する。 CoDyNeRFは、動的外観モデルを通して照明依存効果を近似することを学ぶ。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
  論文  参考訳（メタデータ） (2023-09-20T02:24:40Z)
• Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention [52.63080543011595]
  階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。 提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
  論文  参考訳（メタデータ） (2023-02-24T09:36:31Z)
• CoNFies: Controllable Neural Face Avatars [10.41057307836234]
  顔自己画像(CoNFies)の制御可能な神経表現 顔自己画像(CoNFies)に対する制御可能なニューラル表現を提案する。 自動顔行動認識(AFAR)を用いて、表情をアクション単位(AU)とその強度の組み合わせとして特徴付ける。
  論文  参考訳（メタデータ） (2022-11-16T01:43:43Z)
• RigNeRF: Fully Controllable Neural 3D Portraits [52.91370717599413]
  RigNeRFは、単一のポートレートビデオから学んだ頭部ポーズと表情を完全に制御できる。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-13T21:28:34Z)
• Control-NeRF: Editable Feature Volumes for Scene Rendering and Manipulation [58.16911861917018]
  高品質な新規ビュー合成を実現しつつ,フレキシブルな3次元画像コンテンツ操作を実現するための新しい手法を提案する。 モデルペアはシーンに依存しないニューラルネットワークを用いてシーン固有の特徴ボリュームを学習する。 我々は、シーンの混合、オブジェクトの変形、シーンへのオブジェクト挿入など、さまざまなシーン操作を実証すると同時に、写真リアリスティックな結果も生成する。
  論文  参考訳（メタデータ） (2022-04-22T17:57:00Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
  本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。 私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
  論文  参考訳（メタデータ） (2020-12-17T17:54:32Z)
• Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar Reconstruction [9.747648609960185]
  本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。 特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
  論文  参考訳（メタデータ） (2020-12-05T16:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。