論文の概要: Instant Volumetric Head Avatars
- arxiv url: http://arxiv.org/abs/2211.12499v2
- Date: Thu, 23 Mar 2023 13:16:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 18:01:35.634064
- Title: Instant Volumetric Head Avatars
- Title(参考訳): 瞬時容積型頭部アバター
- Authors: Wojciech Zielonka, Timo Bolkart, Justus Thies
- Abstract要約: Instant Volumetric Head Avatars (INSTA)を提案する。
我々のパイプラインは、異なる表現とビューで対象を観察する単一の単眼のRGBポートレートビデオに基づいて訓練されている。
INSTAは、最新のGPUハードウェア上で10分未満でデジタルアバターを再構築する。
- 参考スコア(独自算出の注目度): 20.782425305421505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present Instant Volumetric Head Avatars (INSTA), a novel approach for
reconstructing photo-realistic digital avatars instantaneously. INSTA models a
dynamic neural radiance field based on neural graphics primitives embedded
around a parametric face model. Our pipeline is trained on a single monocular
RGB portrait video that observes the subject under different expressions and
views. While state-of-the-art methods take up to several days to train an
avatar, our method can reconstruct a digital avatar in less than 10 minutes on
modern GPU hardware, which is orders of magnitude faster than previous
solutions. In addition, it allows for the interactive rendering of novel poses
and expressions. By leveraging the geometry prior of the underlying parametric
face model, we demonstrate that INSTA extrapolates to unseen poses. In
quantitative and qualitative studies on various subjects, INSTA outperforms
state-of-the-art methods regarding rendering quality and training time.
- Abstract(参考訳): 本稿では,フォトリアリスティックなデジタルアバターを瞬時に再構築するための新しいアプローチであるinsta(insta)を提案する。
INSTAは、パラメトリック顔モデルの周りに埋め込まれた神経グラフィックスプリミティブに基づいて、動的神経放射場をモデル化する。
我々のパイプラインは、異なる表現とビューで対象を観察する単一の単眼のRGBポートレートビデオに基づいて訓練されている。
最先端の手法では,アバターのトレーニングに数日を要するが,最新のGPUハードウェアでは10分以内でデジタルアバターを再構築することができる。
さらに、斬新なポーズや表現のインタラクティブなレンダリングを可能にする。
パラメトリックフェースモデルに先立って幾何を利用することにより、INSTAが未知のポーズに外挿することを示す。
様々な被験者の定量的および質的研究において、INSTAはレンダリング品質とトレーニング時間に関する最先端の手法より優れている。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳(メタデータ) (2024-09-18T13:05:43Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。
提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。
新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文 参考訳(メタデータ) (2023-03-21T14:41:25Z) - DINAR: Diffusion Inpainting of Neural Textures for One-Shot Human
Avatars [7.777410338143783]
本稿では,1枚のRGB画像からリアルなフルボディアバターを作成するためのアプローチを提案する。
本手法は, SMPL-Xボディーモデルと組み合わせた神経テクスチャを用いて, アバターのフォトリアリスティックな品質を実現する。
実験では、最新のレンダリング品質と、新しいポーズや視点への優れた一般化を実現する。
論文 参考訳(メタデータ) (2023-03-16T15:04:10Z) - MegaPortraits: One-shot Megapixel Neural Head Avatars [7.05068904295608]
本研究では,中分解能映像データと高分解能画像データの両方を活用するニューラルアーキテクチャとトレーニング手法を提案する。
訓練された高分解能ニューラルアバターモデルを、リアルタイムに動作する軽量の学生モデルに蒸留する方法を示す。
リアルタイム操作とIDロックは多くの実用的アバターシステムに必須である。
論文 参考訳(メタデータ) (2022-07-15T17:32:37Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳(メタデータ) (2021-12-14T15:30:32Z) - Neural Head Avatars from Monocular RGB Videos [0.0]
アニマタブルヒトアバターの表面形状と外観を明示的にモデル化した新しいニューラル表現を提案する。
我々の表現は、様々な表現とビューを特徴とする単眼のRGBポートレートビデオから学べる。
論文 参考訳(メタデータ) (2021-12-02T19:01:05Z) - MetaAvatar: Learning Animatable Clothed Human Models from Few Depth
Images [60.56518548286836]
新規な入力ポーズから現実的な布の変形を生成するには、通常、水密メッシュや高密度フルボディスキャンが入力として必要とされる。
本研究では, 単眼深度画像のみを考慮し, 制御可能なニューラルSDFとして表現された, リアルな衣服付きアバターを迅速に生成する手法を提案する。
論文 参考訳(メタデータ) (2021-06-22T17:30:12Z) - Neural Actor: Neural Free-view Synthesis of Human Actors with Pose
Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。
提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文 参考訳(メタデータ) (2021-06-03T17:40:48Z) - Dynamic Neural Radiance Fields for Monocular 4D Facial Avatar
Reconstruction [9.747648609960185]
本研究では,人間の顔の外観と動態をモデル化するための動的神経放射場を提案する。
特に、ARやVRにおけるテレプレゼンス応用には、新しい視点や見出しを含む外観の忠実な再現が必要である。
論文 参考訳(メタデータ) (2020-12-05T16:01:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。