論文の概要: FLNeRF: 3D Facial Landmarks Estimation in Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2211.11202v3
• Date: Fri, 16 Jun 2023 10:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-19 18:15:34.662796
• Title: FLNeRF: 3D Facial Landmarks Estimation in Neural Radiance Fields
• Title（参考訳）: FLNeRF:ニューラルラジアンスフィールドにおける3次元顔のランドマーク推定
• Authors: Hao Zhang, Tianyuan Dai, Yu-Wing Tai, Chi-Keung Tang
• Abstract要約: 本稿では,ニューラルレイディアンス場(NeRF)における3次元顔のランドマークを直接予測する最初の重要な研究について述べる。 我々の3D粗い顔ランドマークNeRF(FLNeRF)モデルは、特定の顔のNeRFから、正確にランドマークを検出するために、個々の顔の特徴を持つ効率的なサンプルを抽出する。
• 参考スコア（独自算出の注目度）: 64.17946473855382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the first significant work on directly predicting 3D face landmarks on neural radiance fields (NeRFs). Our 3D coarse-to-fine Face Landmarks NeRF (FLNeRF) model efficiently samples from a given face NeRF with individual facial features for accurate landmarks detection. Expression augmentation is applied to facial features in a fine scale to simulate large emotions range including exaggerated facial expressions (e.g., cheek blowing, wide opening mouth, eye blinking) for training FLNeRF. Qualitative and quantitative comparison with related state-of-the-art 3D facial landmark estimation methods demonstrate the efficacy of FLNeRF, which contributes to downstream tasks such as high-quality face editing and swapping with direct control using our NeRF landmarks. Code and data will be available. Github link: https://github.com/ZHANG1023/FLNeRF.
• Abstract（参考訳）: 本稿では,ニューラルレイディアンスフィールド(NeRF)における3次元顔のランドマークを直接予測する最初の重要な研究について述べる。 3次元粗面間ランドマークnerf (flnerf) モデルを用いて, 顔特徴を個別に抽出し, 正確なランドマーク検出を行う。 FLNeRFを訓練するための誇張された表情(例えば、頬吹き、広い開口口、目まきなど)を含む大きな感情範囲をシミュレートするために、表情増強を微細なスケールで顔特徴に適用する。 高品質な顔編集やNeRFランドマークを用いた直接制御の切り替えといった下流作業に寄与するFLNeRFの有効性を,最先端の3次元顔ランドマーク推定手法と定性的かつ定量的に比較した。 コードとデータは利用可能だ。 Githubのリンク:https://github.com/ZHANG1023/FLNeRF。

関連論文リスト

• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• 3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands [51.305421495638434]
  ニューラル放射場(NeRF)は、シーン、オブジェクト、人間の3D表現を約束する。 本稿では,手動操作のための一般化可能な視認可能なNeRFフレームワークを提案する。 Interhand2.6Mデータセットの実験により、提案したVA-NeRFは従来のNeRFよりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2024-01-02T00:42:06Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• NeRFlame: FLAME-based conditioning of NeRF for 3D face rendering [10.991274404360194]
  本稿では,NeRF法とFLAME法の両方の長所を組み合わせた新しい手法NeRFlameを提案する。 提案手法では,FLAMEメッシュを異なる密度の体積として利用し,FLAMEメッシュ近傍にのみ色値が存在する。 このFLAMEフレームワークは,RGB色を予測するためのNeRFアーキテクチャにシームレスに組み込まれ,ボリューム密度を明示的に表現し,RGB色を暗黙的にキャプチャする。
  論文  参考訳（メタデータ） (2023-03-10T22:21:30Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• GeneFace: Generalized and High-Fidelity Audio-Driven 3D Talking Face Synthesis [62.297513028116576]
  GeneFace は、汎用的で高忠実な NeRF ベースの話し顔生成法である。 ヘッド・トルソ問題を解消するために,ヘッド・アウェア・トルソ・NeRFを提案する。
  論文  参考訳（メタデータ） (2023-01-31T05:56:06Z)
• HeadNeRF: A Real-time NeRF-based Parametric Head Model [39.240265611700735]
  HeadNeRFは、神経放射場と人間の頭部のパラメトリック表現を統合する、新しいNeRFベースのパラメトリックヘッドモデルである。 高忠実度ヘッドイメージをリアルタイムでレンダリングでき、生成した画像のレンダリングポーズとさまざまなセマンティック属性を直接制御できる。
  論文  参考訳（メタデータ） (2021-12-10T16:10:13Z)
• MoFaNeRF: Morphable Facial Neural Radiance Field [12.443638713719357]
  MoFaNeRFは、自由視点画像をベクトル空間で符号化された顔の形、表情、外観にマッピングするパラメトリックモデルである。 識別特異的変調とエンコーダテクスチャを導入することにより、正確な測光の詳細を合成する。 本モデルでは,画像ベースのフィッティング,ランダム生成,顔リギング,顔編集,新しいビューなど,複数のアプリケーションに強い能力を示す。
  論文  参考訳（メタデータ） (2021-12-04T11:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。