論文の概要: PartNerFace: Part-based Neural Radiance Fields for Animatable Facial Avatar Reconstruction
- arxiv url: http://arxiv.org/abs/2604.13918v1
- Date: Wed, 15 Apr 2026 14:28:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.579387
- Title: PartNerFace: Part-based Neural Radiance Fields for Animatable Facial Avatar Reconstruction
- Title(参考訳): PartNerFace: Animatable Facial Avatar 再構成のための部分ベース神経放射場
- Authors: Xianggang Yu, Lingteng Qiu, Xiaohang Ren, Guanying Chen, Shuguang Cui, Xiaoguang Han, Baoyuan Wang,
- Abstract要約: 単眼のRGBビデオからアニマタブルな顔アバターを再構成するための部分ベース神経放射場であるPartNerFaceを提案する。
提案手法は,未知の表情によく当てはまり,微細な顔の動きをモデル化することができる。
- 参考スコア(独自算出の注目度): 74.52310899576547
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present PartNerFace, a part-based neural radiance fields approach, for reconstructing animatable facial avatar from monocular RGB videos. Existing solutions either simply condition the implicit network with the morphable model parameters or learn an imaginary canonical radiance field, making them fail to generalize to unseen facial expressions and capture fine-scale motion details. To address these challenges, we first apply inverse skinning based on a parametric head model to map an observed point to the canonical space, and then model fine-scale motions with a part-based deformation field. Our key insight is that the deformation of different facial parts should be modeled differently. Specifically, our part-based deformation field consists of multiple local MLPs to adaptively partition the canonical space into different parts, where the deformation of a 3D point is computed by aggregating the prediction of all local MLPs by a soft-weighting mechanism. Extensive experiments demonstrate that our method generalizes well to unseen expressions and is capable of modeling fine-scale facial motions, outperforming state-of-the-art methods both quantitatively and qualitatively.
- Abstract(参考訳): 単眼のRGBビデオからアニマタブルな顔アバターを再構成するためのパートベースニューラルラジアンスフィールドアプローチであるPartNerFaceを提案する。
既存のソリューションは、単に変形可能なモデルパラメータで暗黙のネットワークを条件付けするか、想像上の正準放射場を学習する。
これらの課題に対処するために、まずパラメトリックヘッドモデルに基づいて逆スキニングを適用し、観測された点を標準空間にマッピングし、次に、部分ベースの変形場を持つ微細な運動をモデル化する。
私たちの重要な洞察は、異なる顔の部分の変形は異なる方法でモデル化されるべきであるということです。
具体的には,3次元点の変形を軟弱化機構により全ての局所的MLPの予測を集約することにより計算し,各部分の正準空間を適応的に分割する複数の局所MLPからなる変形場について述べる。
広汎な実験により,本手法は未知の表現によく適応し,微細な顔の動きをモデル化し,定量的かつ定性的に,最先端の手法より優れることが示された。
関連論文リスト
- ImHead: A Large-scale Implicit Morphable Model for Localized Head Modeling [71.3859346921118]
imHeadは、表現力のある3Dヘッドアバターだけでなく、顔の特徴の局所的な編集を容易にする新しい3DMMである。
imHeadをトレーニングするために、4Kの異なるアイデンティティの大規模なデータセットをキュレートする。
論文 参考訳(メタデータ) (2025-10-12T20:17:34Z) - ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations [25.016000421755162]
本稿では,暗黙のニューラル表現を持つ高度で連続的な空間を学習するために,ImFace++という新しい3次元顔モデルを提案する。
ImFace++は、まず2つの明示的に歪んだ変形フィールドを構築し、アイデンティティと式に関連する複雑な形状をモデル化する。
さらにテンプレート空間内の精細化変位場が組み込まれ、個々の顔の詳細をきめ細かな学習が可能となる。
論文 参考訳(メタデータ) (2023-12-07T03:53:53Z) - BlendFields: Few-Shot Example-Driven Facial Modeling [35.86727715239676]
本稿では,従来のコンピュータグラフィックス技術からインスピレーションを得てギャップを埋める手法を提案する。
見えない表現は、極端なポーズのスパースセットからの外観をブレンドすることによってモデル化される。
本研究では, 顔の滑らかな体積変形の上に, きめ細かな効果を加えることによって, 表情を一般化する手法を示す。
論文 参考訳(メタデータ) (2023-05-12T14:30:07Z) - Implicit Neural Head Synthesis via Controllable Local Deformation Fields [12.191729556779972]
我々は,大域的変形場を局所的に分解する部分的暗黙的形状モデルを構築した。
我々の新しい定式化は、3DMMに基づくパラメータによる局所的な意味的リグ様制御を伴う複数の暗黙的変形場をモデル化する。
我々の定式化は、従来の暗黙単分子アプローチよりも、局所的に制御可能な非線形変形をよりシャープに表現する。
論文 参考訳(メタデータ) (2023-04-21T16:35:28Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳(メタデータ) (2021-12-14T15:30:32Z) - SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural
Implicit Shapes [117.76767853430243]
SNARFは多角形メッシュに対する線形ブレンドスキンの利点とニューラル暗黙表面の利点を組み合わせたものである。
反復ルート探索を用いて任意の変形点のすべての正準対応を探索するフォワードスキンモデルを提案する。
最先端のニューラルネットワークの暗黙的表現と比較すると,このアプローチは,精度を維持しつつ,未認識のポーズを一般化する。
論文 参考訳(メタデータ) (2021-04-08T17:54:59Z) - Personalized Face Modeling for Improved Face Reconstruction and Motion
Retargeting [22.24046752858929]
本稿では、ユーザごとのパーソナライズされた顔モデルとフレームごとの顔の動きパラメータを共同で学習するエンドツーエンドフレームワークを提案する。
具体的には、パーソナライズされた修正を予測することによって、ユーザ固有の表現と動的(表現固有の)アルベドマップのブレンドを学習する。
実験結果から, 顔の微細な動態を広範囲の状況で正確に把握できることが示唆された。
論文 参考訳(メタデータ) (2020-07-14T01:30:14Z) - Monocular Human Pose and Shape Reconstruction using Part Differentiable
Rendering [53.16864661460889]
近年の研究では、3次元基底真理によって教師されるディープニューラルネットワークを介してパラメトリックモデルを直接推定する回帰に基づく手法が成功している。
本稿では,ボディセグメンテーションを重要な監視対象として紹介する。
部分分割による再構成を改善するために,部分分割により部分ベースモデルを制御可能な部分レベル微分可能部を提案する。
論文 参考訳(メタデータ) (2020-03-24T14:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。