論文の概要: FLNeRF: 3D Facial Landmarks Estimation in Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2211.11202v1
• Date: Mon, 21 Nov 2022 06:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 22:38:04.220739
• Title: FLNeRF: 3D Facial Landmarks Estimation in Neural Radiance Fields
• Title（参考訳）: FLNeRF:ニューラルラジアンスフィールドにおける3次元顔のランドマーク推定
• Authors: Hao Zhang, Tianyuan Dai, Yu-Wing Tai, Chi-Keung Tang
• Abstract要約: 本稿では,ニューラルレイディアンス場(NeRF)における3次元顔のランドマークを直接予測する最初の重要な研究について述べる。 本モデルでは,顔全体のNeRFからのサンプルを顔の個々の特徴で効率よく軽減し,ランドマークの精度を高める。 実験により、改良されたランドマークを使用したモデルは、より良い結果に匹敵する結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 64.17946473855382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the first significant work on directly predicting 3D face landmarks on neural radiance fields (NeRFs), without using intermediate representations such as 2D images, depth maps, or point clouds. Our 3D coarse-to-fine Face Landmarks NeRF (FLNeRF) model efficiently samples from the NeRF on the whole face with individual facial features for accurate landmarks. To mitigate the limited number of facial expressions in the available data, local and non-linear NeRF warp is applied at facial features in fine scale to simulate large emotions range, including exaggerated facial expressions (e.g., cheek blowing, wide opening mouth, eye blinking), for training FLNeRF. With such expression augmentation, our model can predict 3D landmarks not limited to the 20 discrete expressions given in the data. Robust 3D NeRF facial landmarks contribute to many downstream tasks. As an example, we modify MoFaNeRF to enable high-quality face editing and swapping using face landmarks on NeRF, allowing more direct control and wider range of complex expressions. Experiments show that the improved model using landmarks achieves comparable to better results. Github link: https://github.com/ZHANG1023/FLNeRF.
• Abstract（参考訳）: 本稿では,2次元画像や深度マップ,点雲などの中間表現を使わずに,ニューラルレイディアンス場(NeRF)上の3次元顔のランドマークを直接予測する最初の重要な研究について述べる。 我々の3D粗い顔ランドマークNeRF(FLNeRF)モデルは、顔全体のNeRFから、正確なランドマークのための個々の顔の特徴を効率よくサンプリングする。 利用可能なデータにおける表情の限られた数を軽減するため、FLNeRFを訓練するための大げさな表情(例えば、頬吹き、広い開口口、目まきなど)を含む大きな感情範囲をシミュレートするために、局所的および非線形のNeRFワープを顔の特徴に微調整する。 このような表現拡張により,データに含まれる20個の離散表現に制限されない3次元ランドマークを予測できる。 頑丈な3D NeRF顔のランドマークは多くの下流タスクに寄与する。 例えば、MoFaNeRFを修正して、NeRF上の顔のランドマークを用いて高品質な顔編集と交換を可能にし、より直接的な制御とより広範な複雑な表現を可能にします。 実験により、ランドマークを用いた改良されたモデルがより良い結果に匹敵することを示した。 Githubのリンク:https://github.com/ZHANG1023/FLNeRF。

関連論文リスト

• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• NeRFlame: FLAME-based conditioning of NeRF for 3D face rendering [10.991274404360194]
  本稿では,NeRF法とFLAME法の両方の長所を組み合わせた新しい手法NeRFlameを提案する。 提案手法では,FLAMEメッシュを異なる密度の体積として利用し,FLAMEメッシュ近傍にのみ色値が存在する。 このFLAMEフレームワークは,RGB色を予測するためのNeRFアーキテクチャにシームレスに組み込まれ,ボリューム密度を明示的に表現し,RGB色を暗黙的にキャプチャする。
  論文  参考訳（メタデータ） (2023-03-10T22:21:30Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• GeneFace: Generalized and High-Fidelity Audio-Driven 3D Talking Face Synthesis [62.297513028116576]
  GeneFace は、汎用的で高忠実な NeRF ベースの話し顔生成法である。 ヘッド・トルソ問題を解消するために,ヘッド・アウェア・トルソ・NeRFを提案する。
  論文  参考訳（メタデータ） (2023-01-31T05:56:06Z)
• HeadNeRF: A Real-time NeRF-based Parametric Head Model [39.240265611700735]
  HeadNeRFは、神経放射場と人間の頭部のパラメトリック表現を統合する、新しいNeRFベースのパラメトリックヘッドモデルである。 高忠実度ヘッドイメージをリアルタイムでレンダリングでき、生成した画像のレンダリングポーズとさまざまなセマンティック属性を直接制御できる。
  論文  参考訳（メタデータ） (2021-12-10T16:10:13Z)
• MoFaNeRF: Morphable Facial Neural Radiance Field [12.443638713719357]
  MoFaNeRFは、自由視点画像をベクトル空間で符号化された顔の形、表情、外観にマッピングするパラメトリックモデルである。 識別特異的変調とエンコーダテクスチャを導入することにより、正確な測光の詳細を合成する。 本モデルでは,画像ベースのフィッティング,ランダム生成,顔リギング,顔編集,新しいビューなど,複数のアプリケーションに強い能力を示す。
  論文  参考訳（メタデータ） (2021-12-04T11:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。