論文の概要: High-Fidelity Eye Animatable Neural Radiance Fields for Human Face

• arxiv url: http://arxiv.org/abs/2308.00773v1
• Date: Tue, 1 Aug 2023 18:26:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 14:50:02.041910
• Title: High-Fidelity Eye Animatable Neural Radiance Fields for Human Face
• Title（参考訳）: 人間の顔に対する高忠実眼アニマタブル神経放射場
• Authors: Hengfei Wang, Zhongqun Zhang, Yihua Cheng, Hyung Jin Chang
• Abstract要約: 多視点画像から眼球運動に敏感な顔NeRFモデルを学習する。 本モデルでは,眼球回転と非剛性眼球周囲変形の高精度な高忠実度画像を生成することができることを示す。
• 参考スコア（独自算出の注目度）: 20.239675412682423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Face rendering using neural radiance fields (NeRF) is a rapidly developing research area in computer vision. While recent methods primarily focus on controlling facial attributes such as identity and expression, they often overlook the crucial aspect of modeling eyeball rotation, which holds importance for various downstream tasks. In this paper, we aim to learn a face NeRF model that is sensitive to eye movements from multi-view images. We address two key challenges in eye-aware face NeRF learning: how to effectively capture eyeball rotation for training and how to construct a manifold for representing eyeball rotation. To accomplish this, we first fit FLAME, a well-established parametric face model, to the multi-view images considering multi-view consistency. Subsequently, we introduce a new Dynamic Eye-aware NeRF (DeNeRF). DeNeRF transforms 3D points from different views into a canonical space to learn a unified face NeRF model. We design an eye deformation field for the transformation, including rigid transformation, e.g., eyeball rotation, and non-rigid transformation. Through experiments conducted on the ETH-XGaze dataset, we demonstrate that our model is capable of generating high-fidelity images with accurate eyeball rotation and non-rigid periocular deformation, even under novel viewing angles. Furthermore, we show that utilizing the rendered images can effectively enhance gaze estimation performance.
• Abstract（参考訳）: neural radiance fields (nerf) はコンピュータビジョンの分野で急速に発展している研究分野である。 近年の手法は主にアイデンティティや表現などの顔属性の制御に重点を置いているが、様々な下流タスクにおいて重要である眼球回転をモデル化する重要な側面を見落としていることが多い。 本稿では,多視点画像から眼球運動に敏感な顔NeRFモデルを学習することを目的とする。 我々は、眼球回転を効果的に捉える方法と、眼球回転を表す多様体を構築する方法の2つの課題に対処する。 そこで我々はまず,マルチビューの整合性を考慮した多視点画像に,よく確立されたパラメトリック顔モデルFLAMEを適合させる。 その後、新しいダイナミックアイ対応NeRF(DeNeRF)を導入する。 DeNeRFは3Dポイントを異なる視点から標準空間に変換し、統一された顔NeRFモデルを学ぶ。 我々は、剛性変換、例えば、眼球回転、非剛性変換を含む変形のための眼変形場を設計する。 eth-xgazeデータセットを用いた実験により,新しい視野角でも正確な眼球回転と非剛性眼球変形を伴う高忠実度画像を生成することができることを実証した。 さらに、レンダリング画像を利用することで、視線推定性能を効果的に向上できることを示す。

関連論文リスト

• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• NOFA: NeRF-based One-shot Facial Avatar Reconstruction [45.11455702291703]
  3次元顔アバター再構成はコンピュータグラフィックスとコンピュータビジョンにおいて重要な研究課題となっている。 本研究では,高忠実度3次元顔アバターを再構成するために,単一の音源画像のみを必要とするワンショット3次元顔アバター再構成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-07T07:58:18Z)
• One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural Radiance Field [81.07651217942679]
  トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。 我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-11T09:47:35Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• GazeNeRF: 3D-Aware Gaze Redirection with Neural Radiance Fields [100.53114092627577]
  既存の視線リダイレクト法は2次元画像上で動作し、3次元一貫した結果を生成するのに苦労する。 顔領域と眼球は3次元構造であり、協調しているが独立して動くという直感に基づいて構築する。
  論文  参考訳（メタデータ） (2022-12-08T13:19:11Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• MoFaNeRF: Morphable Facial Neural Radiance Field [12.443638713719357]
  MoFaNeRFは、自由視点画像をベクトル空間で符号化された顔の形、表情、外観にマッピングするパラメトリックモデルである。 識別特異的変調とエンコーダテクスチャを導入することにより、正確な測光の詳細を合成する。 本モデルでは,画像ベースのフィッティング,ランダム生成,顔リギング,顔編集,新しいビューなど,複数のアプリケーションに強い能力を示す。
  論文  参考訳（メタデータ） (2021-12-04T11:25:28Z)
• Nerfies: Deformable Neural Radiance Fields [44.923025540903886]
  携帯電話からカジュアルに撮影した写真やビデオを用いて、変形可能なシーンをリアルに再構築する最初の方法を提案する。 提案手法は、観測された各点を正準5D NeRFに湾曲する追加の連続体積変形場を最適化することにより、ニューラルラジアンス場(NeRF)を増強する。 提案手法は,非厳密な場面を忠実に再構築し,不明瞭な視点を高い忠実度で再現する。
  論文  参考訳（メタデータ） (2020-11-25T18:55:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。