論文の概要: AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural Voxels

• arxiv url: http://arxiv.org/abs/2211.13206v3
• Date: Wed, 3 May 2023 06:47:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 11:21:34.878947
• Title: AvatarMAV: Fast 3D Head Avatar Reconstruction Using Motion-Aware Neural Voxels
• Title（参考訳）: アバターマブ:モーションアウェアニューラルボクセルを用いた高速3次元頭部アバター再構成
• Authors: Yuelang Xu, Lizhen Wang, Xiaochen Zhao, Hongwen Zhang, Yebin Liu
• Abstract要約: 動作認識型ニューラルボクセルを用いた高速な3次元頭部アバター再構成法であるAvatarMAVを提案する。 アバターMAVは、頭アバターの神経ボクセルによる標準的外観と解離した表情運動の両方をモデル化した最初のものである。 提案したAvatarMAVは、最先端の顔再現法よりもはるかに高速な5分で、フォトリアリスティックな頭部アバターを回収することができる。
• 参考スコア（独自算出の注目度）: 33.085274792188756
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: With NeRF widely used for facial reenactment, recent methods can recover photo-realistic 3D head avatar from just a monocular video. Unfortunately, the training process of the NeRF-based methods is quite time-consuming, as MLP used in the NeRF-based methods is inefficient and requires too many iterations to converge. To overcome this problem, we propose AvatarMAV, a fast 3D head avatar reconstruction method using Motion-Aware Neural Voxels. AvatarMAV is the first to model both the canonical appearance and the decoupled expression motion by neural voxels for head avatar. In particular, the motion-aware neural voxels is generated from the weighted concatenation of multiple 4D tensors. The 4D tensors semantically correspond one-to-one with 3DMM expression basis and share the same weights as 3DMM expression coefficients. Benefiting from our novel representation, the proposed AvatarMAV can recover photo-realistic head avatars in just 5 minutes (implemented with pure PyTorch), which is significantly faster than the state-of-the-art facial reenactment methods. Project page: https://www.liuyebin.com/avatarmav.
• Abstract（参考訳）: 顔の再現に広く利用されているNeRFでは、最近の方法は単眼ビデオから写実的な3D頭部アバターを回収することができる。 残念なことに、NeRFベースの手法のトレーニングプロセスは非常に時間がかかり、NeRFベースの手法で使用されるMPPは非効率であり、収束するにはイテレーションが多すぎる。 この問題を解決するために,モーション対応ニューラルボクセルを用いた高速な3次元頭部アバター再構成法であるAvatarMAVを提案する。 アバターMAVは、頭アバターの神経ボクセルによる標準的外観と解離した表情運動の両方をモデル化した最初のものである。 特に、複数の4次元テンソルの重み付け連結から運動認識型ニューラルボクセルが生成される。 4Dテンソルは意味的に3DMM式ベースと1対1に対応し、3DMM式係数と同じ重みを共有する。 提案するアバターマブは,新しい表現の利点を生かして,写真に写実的な頭部アバターをわずか5分で回収できる(ピュアトルチを組み込んだ)。 プロジェクトページ: https://www.liuyebin.com/avatarmav。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• LightAvatar: Efficient Head Avatar as Dynamic Neural Light Field [58.93692943064746]
  ニューラル光場(NeLF)に基づく最初の頭部アバターモデルであるLightAvatarを紹介する。 LightAvatarは3DMMパラメータから画像をレンダリングし、メッシュやボリュームレンダリングを使わずに、単一のネットワークフォワードパスを介してカメラがポーズする。
  論文  参考訳（メタデータ） (2024-09-26T17:00:02Z)
• Gaussian Deja-vu: Creating Controllable 3D Gaussian Head-Avatars with Enhanced Generalization and Personalization Abilities [10.816370283498287]
  本稿では,まず頭部アバターの一般化モデルを取得し,その結果をパーソナライズする「ガウスデジャヴ」(Gaussian Deja-vu)フレームワークを紹介する。 パーソナライズのために、ニューラルネットワークに頼らずに迅速に収束する学習可能な表現認識補正ブレンドマップを提案する。 最先端の3Dガウシアンヘッドアバターをフォトリアリスティックな品質で上回り、既存の方法の少なくとも4分の1のトレーニング時間を短縮する。
  論文  参考訳（メタデータ） (2024-09-23T00:11:30Z)
• One2Avatar: Generative Implicit Head Avatar For Few-shot User Adaptation [31.310769289315648]
  本稿では,1ユーザあたり1枚または数枚の画像のみを利用した高品質なヘッドアバターを作成するための新しいアプローチを提案する。 我々は2407名の被験者から多視点の表情データセットから3次元アニマタブルなフォトリアリスティックヘッドアバターの生成モデルを学習した。 提案手法は,従来のアバター適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-19T07:48:29Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• OPHAvatars: One-shot Photo-realistic Head Avatars [0.0]
  ポートレートが与えられた場合、駆動キーポイント機能を用いて、粗い音声ヘッドビデオを合成する。 粗いアバターのレンダリング画像を用いて,低画質の画像をブラインド顔復元モデルで更新する。 数回繰り返して、本手法は光リアルなアニマタブルな3Dニューラルヘッドアバターを合成することができる。
  論文  参考訳（メタデータ） (2023-07-18T11:24:42Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)
• OTAvatar: One-shot Talking Face Avatar with Controllable Tri-plane Rendering [81.55960827071661]
  制御性、一般化性、効率性は、ニューラル暗黙の場で表される顔アバターを構成する主要な目的である。 汎用制御可能な3面描画ソリューションにより顔アバターを構成するワンショット面アバター(OTAvatar)を提案する。
  論文  参考訳（メタデータ） (2023-03-26T09:12:03Z)
• AvatarCLIP: Zero-Shot Text-Driven Generation and Animation of 3D Avatars [37.43588165101838]
  AvatarCLIPは、3Dアバター生成とアニメーションのためのゼロショットテキスト駆動フレームワークである。 我々は、強力な視覚言語モデルCLIPを利用して、ニューラル・ヒューマン・ジェネレーションを監督する。 動作VAEで得られた先行情報を活用することで,CLIP誘導参照ベースモーション合成法が生成した3Dアバターのアニメーションに対して提案される。
  論文  参考訳（メタデータ） (2022-05-17T17:59:19Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。