論文の概要: FDNeRF: Few-shot Dynamic Neural Radiance Fields for Face Reconstruction
and Expression Editing
- arxiv url: http://arxiv.org/abs/2208.05751v1
- Date: Thu, 11 Aug 2022 11:05:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-12 13:17:57.688708
- Title: FDNeRF: Few-shot Dynamic Neural Radiance Fields for Face Reconstruction
and Expression Editing
- Title（参考訳）: fdnerf: 顔再建と表情編集のための数発動的神経放射場
- Authors: Jingbo Zhang, Xiaoyu Li, Ziyu Wan, Can Wang, Jing Liao
- Abstract要約: 本研究では,3次元顔の再構成と表現編集が可能な最初のNeRF方式であるFew-shot Dynamic Neural Radiance Field (FDNeRF)を提案する。
入力として高密度画像を必要とする既存の動的NeRFと異なり、単一のアイデンティティのためにのみモデル化できるため、少ないショット入力を持つ異なる人物間での顔再構成が可能となる。
- 参考スコア（独自算出の注目度）: 27.014582934266492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a Few-shot Dynamic Neural Radiance Field (FDNeRF), the first
NeRF-based method capable of reconstruction and expression editing of 3D faces
based on a small number of dynamic images. Unlike existing dynamic NeRFs that
require dense images as input and can only be modeled for a single identity,
our method enables face reconstruction across different persons with few-shot
inputs. Compared to state-of-the-art few-shot NeRFs designed for modeling
static scenes, the proposed FDNeRF accepts view-inconsistent dynamic inputs and
supports arbitrary facial expression editing, i.e., producing faces with novel
expressions beyond the input ones. To handle the inconsistencies between
dynamic inputs, we introduce a well-designed conditional feature warping (CFW)
module to perform expression conditioned warping in 2D feature space, which is
also identity adaptive and 3D constrained. As a result, features of different
expressions are transformed into the target ones. We then construct a radiance
field based on these view-consistent features and use volumetric rendering to
synthesize novel views of the modeled faces. Extensive experiments with
quantitative and qualitative evaluation demonstrate that our method outperforms
existing dynamic and few-shot NeRFs on both 3D face reconstruction and
expression editing tasks. Our code and model will be available upon acceptance.
- Abstract（参考訳）: 少数の動的画像に基づいて3次元顔の再構成と表現を可能とした最初のNeRF法であるFew-shot Dynamic Neural Radiance Field (FDNeRF)を提案する。
入力として高密度画像を必要とする既存の動的NeRFと異なり、単一のアイデンティティのためにのみモデル化できるため、少ないショット入力を持つ異なる人物間での顔再構成が可能となる。
静的シーンのモデリング用に設計された最新の数発のNeRFと比較して、提案したFDNeRFはビュー一貫性のない動的入力を受け入れ、任意の表情編集、すなわち入力を超える新しい表情の顔を生成する。
動的入力間の不整合に対処するために,2次元特徴空間において表現条件付きワーピングを行うためのよく設計された条件付き特徴ウォーピング(cfw)モジュールを導入する。
その結果、異なる表現の特徴がターゲットに変換される。
次に、これらのビュー一貫性のある特徴に基づいて放射場を構築し、ボリュームレンダリングを用いてモデル化された顔の新規なビューを合成する。
定量的・定性的評価による広範囲な実験により,3次元顔再構成と表情編集の両タスクにおいて,既存の動的および少数ショットのnrfを上回った。
私たちのコードとモデルは受け入れられるでしょう。
関連論文リスト
- DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from
Sparse Images [21.811067296567252]
本研究では,高忠実度乾燥可能な顔アバターを再構成し,目に見えない表情を処理できる新しいフレームワークを提案する。
実装の核となるのは、構造化変位特徴と意味認識学習モジュールです。
我々の手法は現在の最先端技術よりもはるかに優れた結果が得られる。
論文 参考訳（メタデータ） (2023-06-17T13:49:56Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and
Reconstruction [77.69363640021503]
3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。
本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
論文 参考訳（メタデータ） (2023-04-13T17:59:01Z) - One-Shot High-Fidelity Talking-Head Synthesis with Deformable Neural
Radiance Field [81.07651217942679]
トーキングヘッド生成は、ソース画像の識別情報を保持し、駆動画像の動作を模倣する顔を生成することを目的としている。
我々は高忠実かつ自由視点の対話ヘッド合成を実現するHiDe-NeRFを提案する。
論文 参考訳（メタデータ） (2023-04-11T09:47:35Z) - NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from
3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。
そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。
さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-20T17:12:00Z) - NeRFInvertor: High Fidelity NeRF-GAN Inversion for Single-shot Real
Image Animation [66.0838349951456]
Nerfベースの生成モデルは、一貫した3次元幾何で高品質な画像を生成する能力を示している。
本研究では,このNeRF-GANモデルを外科的に微調整し,実物体の高忠実度アニメーションを単一画像のみで実現するための普遍的手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T18:36:45Z) - CG-NeRF: Conditional Generative Neural Radiance Fields [17.986390749467546]
本稿では,画像やテキストなどの余分な入力条件を反映した多視点画像を生成することのできる,条件生成放射性ニューラルフィールド(CG-NeRF)と呼ばれる新しいモデルを提案する。
与えられた入力条件の共通特性を保存しながら、提案モデルでは様々な画像を詳細に生成する。
論文 参考訳（メタデータ） (2021-12-07T05:57:58Z) - Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。
従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。
いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文 参考訳（メタデータ） (2021-12-05T07:02:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。