論文の概要: Efficient Neural Implicit Representation for 3D Human Reconstruction

• arxiv url: http://arxiv.org/abs/2410.17741v1
• Date: Wed, 23 Oct 2024 10:16:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:55:48.921417
• Title: Efficient Neural Implicit Representation for 3D Human Reconstruction
• Title（参考訳）: 3次元再構成のための効率的なニューラルインシシット表現法
• Authors: Zexu Huang, Sarah Monazam Erfani, Siying Lu, Mingming Gong,
• Abstract要約: 従来の3次元の人間の動きを再構築するには、高価なハードウェアを使う必要があり、高い処理コストがかかる。 本研究では,モノクラービデオソースから正確な人間のアバターを効率的に再構築する革新的アプローチであるHumanAvatarを提案する。
• 参考スコア（独自算出の注目度）: 38.241511336562844
• License:
• Abstract: High-fidelity digital human representations are increasingly in demand in the digital world, particularly for interactive telepresence, AR/VR, 3D graphics, and the rapidly evolving metaverse. Even though they work well in small spaces, conventional methods for reconstructing 3D human motion frequently require the use of expensive hardware and have high processing costs. This study presents HumanAvatar, an innovative approach that efficiently reconstructs precise human avatars from monocular video sources. At the core of our methodology, we integrate the pre-trained HuMoR, a model celebrated for its proficiency in human motion estimation. This is adeptly fused with the cutting-edge neural radiance field technology, Instant-NGP, and the state-of-the-art articulated model, Fast-SNARF, to enhance the reconstruction fidelity and speed. By combining these two technologies, a system is created that can render quickly and effectively while also providing estimation of human pose parameters that are unmatched in accuracy. We have enhanced our system with an advanced posture-sensitive space reduction technique, which optimally balances rendering quality with computational efficiency. In our detailed experimental analysis using both artificial and real-world monocular videos, we establish the advanced performance of our approach. HumanAvatar consistently equals or surpasses contemporary leading-edge reconstruction techniques in quality. Furthermore, it achieves these complex reconstructions in minutes, a fraction of the time typically required by existing methods. Our models achieve a training speed that is 110X faster than that of State-of-The-Art (SoTA) NeRF-based models. Our technique performs noticeably better than SoTA dynamic human NeRF methods if given an identical runtime limit. HumanAvatar can provide effective visuals after only 30 seconds of training.
• Abstract（参考訳）: 高忠実度デジタル人間の表現は、特にインタラクティブテレプレゼンス、AR/VR、3Dグラフィックス、急速に進化するメタバースにおいて、デジタル世界でますます需要が高まっている。 小さな空間ではうまく機能するが、従来の3次元の人間の動きを再構築するには高価なハードウェアを使う必要があり、高い処理コストがかかる。 本研究では,モノクラービデオソースから正確な人間のアバターを効率的に再構築する革新的アプローチであるHumanAvatarを提案する。 提案手法のコアとなるHuMoRは,人間の動作推定に習熟したモデルである。 これは最先端の神経放射場技術であるInstant-NGPと最先端の関節モデルであるFast-SNARFと完全に融合し、再構築の忠実さと速度を高める。 これら2つの技術を組み合わせることで、人間のポーズパラメータを精度良く推定しながら、迅速かつ効果的にレンダリングできるシステムを構築する。 我々は、レンダリング品質と計算効率を最適にバランスさせる、高度に姿勢に敏感な空間縮小技術により、システムを強化した。 実世界と実世界の両方のモノクロビデオを用いた詳細な実験解析により,本手法の高度な性能を確立した。 ヒューマンアバターは、現代における最先端の復元技術と品質を一貫して同等または超越している。 さらに、これらの複雑な再構築を数分で達成し、既存の手法で必要とされる時間のごく一部を達成している。 我々のモデルは、State-of-The-Art (SoTA) NeRFベースモデルよりも110倍高速なトレーニング速度を実現する。 本手法は,同一のランタイム限界が与えられた場合,SoTA動的NeRF法よりも顕著に優れた性能を発揮する。 HumanAvatarは、30秒のトレーニングの後、効果的なビジュアルを提供することができる。

関連論文リスト

• GauHuman: Articulated Gaussian Splatting from Monocular Human Videos [58.553979884950834]
  GauHumanは、高速トレーニング(12分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルである。 ガウフマンはカノニカル空間でガウススプラッティングを符号化し、3次元ガウスを線形ブレンドスキンニング(LBS)で正標準空間からポーズ空間に変換する ZJU_MocapとMonoCapデータセットの実験は、GauHumanが高速なトレーニングとリアルタイムレンダリング速度によって、最先端のパフォーマンスを定量的に質的に達成していることを示している。
  論文  参考訳（メタデータ） (2023-12-05T18:59:14Z)
• Efficient-3DiM: Learning a Generalizable Single-image Novel-view Synthesizer in One Day [63.96075838322437]
  シングルイメージのノベルビューシンセサイザーを学習するためのフレームワークを提案する。 当社のフレームワークは,トレーニング時間を10日以内から1日未満に短縮することが可能です。
  論文  参考訳（メタデータ） (2023-10-04T17:57:07Z)
• InstantAvatar: Efficient 3D Head Reconstruction via Surface Rendering [13.85652935706768]
  InstantAvatarは,コモディティハードウェア上で数秒で数枚の画像からフルヘッドアバターを復元する手法である。 ボクセルグリッドに基づくアーキテクチャを用いて,3次元頭部署名距離関数の事前分布を学習する新しい統計モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-09T11:02:00Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• Real-time volumetric rendering of dynamic humans [83.08068677139822]
  本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。 提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。 新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
  論文  参考訳（メタデータ） (2023-03-21T14:41:25Z)
• InstantAvatar: Learning Avatars from Monocular Video in 60 Seconds [43.41503529747328]
  本研究では,モノクロ映像から人間のアバターを数秒で再構築できるシステムを提案する。 既存の方法と比較して、InstantAvatarは130倍早く収束し、数時間ではなく数分で訓練できる。
  論文  参考訳（メタデータ） (2022-12-20T18:53:58Z)
• HDHumans: A Hybrid Approach for High-fidelity Digital Humans [107.19426606778808]
  HDHumansは、正確な時間的コヒーレントな3D変形面を共同で生成する、HDヒューマン文字合成の最初の方法である。 我々の手法は、古典的表面変形とニューラル放射場(NeRF)の相乗効果を達成するために慎重に設計されている。
  論文  参考訳（メタデータ） (2022-10-21T14:42:11Z)
• SelfNeRF: Fast Training NeRF for Human from Monocular Self-rotating Video [29.50059002228373]
  SelfNeRFは、人間のパフォーマンスのための効率的な神経放射場に基づく新しいビュー合成法である。 訓練はスクラッチから行うことができ、20分ほどで高忠実度が得られる。
  論文  参考訳（メタデータ） (2022-10-04T14:54:40Z)
• Physics to the Rescue: Deep Non-line-of-sight Reconstruction for High-speed Imaging [13.271762773872476]
  本稿では,高品位かつ堅牢なNLOS再構成のためのニューラルネットワークに,波動伝搬とボリュームレンダリングの相補的な物理を組み込んだ新しいディープモデルを提案する。 本手法は, 実測値と実測値の両方に基づいて, 従来の物理・学習手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-03T02:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。