論文の概要: Tri$^{2}$-plane: Volumetric Avatar Reconstruction with Feature Pyramid
- arxiv url: http://arxiv.org/abs/2401.09386v1
- Date: Wed, 17 Jan 2024 17:59:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 14:59:13.889256
- Title: Tri$^{2}$-plane: Volumetric Avatar Reconstruction with Feature Pyramid
- Title(参考訳): Tri$^{2}$-plane: Feature Pyramid を用いたボリュームアバター再構成
- Authors: Luchuan Song, Pinxin Liu, Lele Chen, Celong Liu, Chenliang Xu
- Abstract要約: 本稿では,モノクラーフォトリアリスティックな頭部アバター再構成のための新しいアプローチTri$2$-planeを提案する。
顔の詳細を複数のスケールで分析してレンダリングし、顔全体から特定の地域へ移行し、さらに洗練されたサブリージョンへと移行する。
- 参考スコア(独自算出の注目度): 36.560021994209585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent years have witnessed considerable achievements in facial avatar
reconstruction with neural volume rendering. Despite notable advancements, the
reconstruction of complex and dynamic head movements from monocular videos
still suffers from capturing and restoring fine-grained details. In this work,
we propose a novel approach, named Tri$^2$-plane, for monocular photo-realistic
volumetric head avatar reconstructions. Distinct from the existing works that
rely on a single tri-plane deformation field for dynamic facial modeling, the
proposed Tri$^2$-plane leverages the principle of feature pyramids and three
top-to-down lateral connections tri-planes for details improvement. It samples
and renders facial details at multiple scales, transitioning from the entire
face to specific local regions and then to even more refined sub-regions.
Moreover, we incorporate a camera-based geometry-aware sliding window method as
an augmentation in training, which improves the robustness beyond the canonical
space, with a particular improvement in cross-identity generation capabilities.
Experimental outcomes indicate that the Tri$^2$-plane not only surpasses
existing methodologies but also achieves superior performance across both
quantitative metrics and qualitative assessments through experiments.
- Abstract(参考訳): 近年, 神経ボリュームレンダリングによる顔面アバター再建の成果が見られた。
顕著な進歩にもかかわらず、単眼ビデオからの複雑でダイナミックな頭部の動きの再構築は、細かな詳細を捉えて復元するのに苦しむ。
本研究では,単眼型フォトリアリスティックな頭部アバター再構成のためのtri$^2$-planeという新しいアプローチを提案する。
動的顔モデリングのための1つの三面体変形場に依存する既存の研究とは違い、提案されたTri$^2$-planeは、特徴ピラミッドと3つの上下方向接続三面体の原理を利用して細部の改善を行う。
顔の詳細を複数のスケールでサンプリングし、顔全体から特定の地域へ、さらに洗練されたサブリージョンへ遷移させる。
さらに,カメラを用いた幾何認識スライディングウインドウ法をトレーニングの強化として取り入れ,正準空間を越えたロバスト性の向上,特にクロスアイデンティティ生成能力の向上を実現した。
実験結果から、Tri$^2$-planeは既存の方法論を超越するだけでなく、測定値と定性的評価の両方で優れた性能が得られることが示唆された。
関連論文リスト
- SphereHead: Stable 3D Full-head Synthesis with Spherical Tri-plane Representation [16.991139234072225]
PanoHeadは、正面と後方の両方のビューの画像をフルヘッド合成するために、大規模なデータセットを使用することの可能性を証明している。
本研究では,人間の頭部の幾何学的特徴に適合する球面座標系における新しい三面体表現であるSphereHeadを提案する。
論文 参考訳(メタデータ) (2024-04-08T16:58:31Z) - GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。
提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
論文 参考訳(メタデータ) (2024-01-18T18:56:34Z) - HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video [37.53752896927615]
任意のモノクラービデオから高忠実度3Dヘッドモデルの再構成について検討する。
本稿では,これらの問題に対処するために,事前誘導型動的暗黙的ニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2023-12-14T12:38:56Z) - TriHuman : A Real-time and Controllable Tri-plane Representation for
Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。
我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。
このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
論文 参考訳(メタデータ) (2023-12-08T16:40:38Z) - Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。
我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
論文 参考訳(メタデータ) (2023-09-19T05:44:00Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳(メタデータ) (2023-06-14T22:33:09Z) - A Hierarchical Representation Network for Accurate and Detailed Face
Reconstruction from In-The-Wild Images [15.40230841242637]
本稿では,1つの画像から正確な顔再構成を実現するために,新しい階層型表現ネットワーク(HRN)を提案する。
我々のフレームワークは、異なるビューの詳細な一貫性を考慮し、マルチビューに拡張することができる。
本手法は,再現精度と視覚効果の両方において既存手法より優れる。
論文 参考訳(メタデータ) (2023-02-28T09:24:36Z) - AvatarMe: Realistically Renderable 3D Facial Reconstruction
"in-the-wild" [105.28776215113352]
AvatarMe は、1つの "in-the-wild" 画像から高精細度で光リアルな3D顔を再構成できる最初の方法である。
6K解像度の3D画像を1枚の低解像度画像から再現する。
論文 参考訳(メタデータ) (2020-03-30T22:17:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。