論文の概要: BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis
- arxiv url: http://arxiv.org/abs/2311.05521v2
- Date: Tue, 28 Nov 2023 15:31:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 13:05:31.112115
- Title: BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis
- Title（参考訳）: BakedAvatar: リアルタイムアバター合成のためのバッキングニューラルネットワーク
- Authors: Hao-Bin Duan, Miao Wang, Jin-Chuan Shi, Xu-Chuan Chen and Yan-Pei Cao
- Abstract要約: リアルタイム神経頭アバターの新しい表現であるBakedAvatarを紹介した。
提案手法は,学習した頭部の異面から層状メッシュを抽出し,表現,ポーズ,ビューに依存した外観を計算する。
実験により,本表現は,他の最先端手法と同等品質の光実写結果を生成することを示した。
- 参考スコア（独自算出の注目度）: 7.485318043174123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthesizing photorealistic 4D human head avatars from videos is essential
for VR/AR, telepresence, and video game applications. Although existing Neural
Radiance Fields (NeRF)-based methods achieve high-fidelity results, the
computational expense limits their use in real-time applications. To overcome
this limitation, we introduce BakedAvatar, a novel representation for real-time
neural head avatar synthesis, deployable in a standard polygon rasterization
pipeline. Our approach extracts deformable multi-layer meshes from learned
isosurfaces of the head and computes expression-, pose-, and view-dependent
appearances that can be baked into static textures for efficient rasterization.
We thus propose a three-stage pipeline for neural head avatar synthesis, which
includes learning continuous deformation, manifold, and radiance fields,
extracting layered meshes and textures, and fine-tuning texture details with
differential rasterization. Experimental results demonstrate that our
representation generates synthesis results of comparable quality to other
state-of-the-art methods while significantly reducing the inference time
required. We further showcase various head avatar synthesis results from
monocular videos, including view synthesis, face reenactment, expression
editing, and pose editing, all at interactive frame rates.
- Abstract（参考訳）: ビデオからフォトリアリスティックな4D人間の頭アバターを合成することは、VR/AR、テレプレゼンス、ビデオゲームアプリケーションに不可欠である。
既存のNeural Radiance Fields(NeRF)ベースの手法は高忠実性を実現するが、計算コストはリアルタイムアプリケーションでの使用を制限する。
この限界を克服するため,我々は,標準ポリゴンラスタライズパイプラインに展開可能な,リアルタイムニューラルネットワークヘッドアバター合成のための新しい表現であるbakedavatarを紹介する。
提案手法は, 学習した頭部の異面から変形可能な多層メッシュを抽出し, 静的なテクスチャに埋め込んだ表現-, ポーズ-, ビュー依存の外観を計算し, 効率的なラスタライズを行う。
そこで我々は, 連続的な変形, 多様体, 放射界の学習, 層状メッシュとテクスチャの抽出, ディファレンシャルラスタ化を伴う微調整テクスチャ詳細を含む, ニューラルヘッドアバター合成のための3段階パイプラインを提案する。
実験結果から,本表現は他の最先端手法と同等の品質の合成結果を生成するとともに,推定時間を大幅に削減できることを示した。
さらに,視覚合成,顔再現,表情編集,ポーズ編集など単眼映像からの頭部アバター合成結果をインタラクティブフレームレートで紹介する。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。
本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。
実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
論文 参考訳（メタデータ） (2024-05-18T11:49:09Z) - FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
動的顔の3Dレンダリングは難しい問題である。
本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
論文 参考訳（メタデータ） (2024-04-22T00:44:13Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。
提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
論文 参考訳（メタデータ） (2023-04-20T17:59:52Z) - GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from
Multi-view Images [79.39247661907397]
本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。
具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
論文 参考訳（メタデータ） (2023-03-24T03:32:02Z) - Cascaded and Generalizable Neural Radiance Fields for Fast View
Synthesis [35.035125537722514]
ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。
DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。
CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
論文 参考訳（メタデータ） (2022-08-09T12:23:48Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z) - HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。
まず,人体表面の高密度UV多様体上での人間の動きを符号化する。
次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
論文 参考訳（メタデータ） (2021-12-19T17:34:15Z) - Neural Head Avatars from Monocular RGB Videos [0.0]
アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。
我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
論文 参考訳（メタデータ） (2021-12-02T19:01:05Z) - Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar
Reconstruction [9.747648609960185]
本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。
特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
論文 参考訳（メタデータ） (2020-12-05T16:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。