論文の概要: GauHuman: Articulated Gaussian Splatting from Monocular Human Videos
- arxiv url: http://arxiv.org/abs/2312.02973v1
- Date: Tue, 5 Dec 2023 18:59:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 14:33:55.644772
- Title: GauHuman: Articulated Gaussian Splatting from Monocular Human Videos
- Title（参考訳）: GauHuman: 単眼の人間のビデオからガウスの切り抜き
- Authors: Shoukang Hu and Ziwei Liu
- Abstract要約: GauHumanは、高速トレーニング(12分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルである。
ガウフマンはカノニカル空間でガウススプラッティングを符号化し、3次元ガウスを線形ブレンドスキンニング(LBS)で正標準空間からポーズ空間に変換する
ZJU_MocapとMonoCapデータセットの実験は、GauHumanが高速なトレーニングとリアルタイムレンダリング速度によって、最先端のパフォーマンスを定量的に質的に達成していることを示している。
- 参考スコア（独自算出の注目度）: 58.553979884950834
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present, GauHuman, a 3D human model with Gaussian Splatting for both fast
training (1 ~ 2 minutes) and real-time rendering (up to 189 FPS), compared with
existing NeRF-based implicit representation modelling frameworks demanding
hours of training and seconds of rendering per frame. Specifically, GauHuman
encodes Gaussian Splatting in the canonical space and transforms 3D Gaussians
from canonical space to posed space with linear blend skinning (LBS), in which
effective pose and LBS refinement modules are designed to learn fine details of
3D humans under negligible computational cost. Moreover, to enable fast
optimization of GauHuman, we initialize and prune 3D Gaussians with 3D human
prior, while splitting/cloning via KL divergence guidance, along with a novel
merge operation for further speeding up. Extensive experiments on ZJU_Mocap and
MonoCap datasets demonstrate that GauHuman achieves state-of-the-art
performance quantitatively and qualitatively with fast training and real-time
rendering speed. Notably, without sacrificing rendering quality, GauHuman can
fast model the 3D human performer with ~13k 3D Gaussians.
- Abstract（参考訳）: 高速トレーニング(1～2分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルであるGauHumanを,既存のNeRFベースの暗黙表現モデリングフレームワークと比較した。
具体的には、ガウフマンはガウススティングを標準空間にエンコードし、3Dガウスを標準空間から線形ブレンドスキン(LBS)でポーズ空間に変換し、有効ポーズとLBSリファインメントモジュールを、無視可能な計算コストで3D人間の詳細を学習するように設計する。
さらに, gauhuman の高速最適化を実現するために, kl 発散誘導による分割・閉包を行いながら, 3d人間による初期化とprune 3d gaussian の高速化を図る。
zju_mocapとmonocapデータセットの広範な実験により、gauhumanは高速トレーニングとリアルタイムレンダリング速度で最先端のパフォーマンスを定量的かつ質的に達成できることが示されている。
特に、レンダリング品質を犠牲にすることなく、gauhumanは13k 3d gaussianで3d人間パフォーマーを高速にモデル化することができる。
関連論文リスト
- iHuman: Instant Animatable Digital Humans From Monocular Videos [16.98924995658091]
モノクロビデオからアニマタブルな3Dデジタル人間を作るための,迅速かつシンプルで効果的な方法を提案する。
この研究は、人間の身体の正確な3Dメッシュ型モデリングの必要性を達成し、説明します。
我々の手法は(訓練時間の観点から)最も近い競合相手よりも桁違いに高速である。
論文 参考訳（メタデータ） (2024-07-15T18:51:51Z) - PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
本稿では,現在のアプローチよりも優れた空間感性プルーニングスコアを提案する。
また,事前学習した任意の3D-GSモデルに適用可能なマルチラウンドプルーファインパイプラインを提案する。
我々のパイプラインは、3D-GSの平均レンダリング速度を2.65$times$で増加させ、より健全なフォアグラウンド情報を保持します。
論文 参考訳（メタデータ） (2024-06-14T17:53:55Z) - OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。
OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
論文 参考訳（メタデータ） (2024-04-12T13:00:06Z) - Human101: Training 100+FPS Human Gaussians in 100s from 1 View [35.77485300265528]
1-viewビデオから高忠実度ダイナミックな3次元再構成を実現するための新しいフレームワークであるHuman101を紹介する。
提案手法は, 3次元ガウス散乱の強度を利用して, 3次元人間の明示的かつ効率的な表現を提供する。
Human101は毎秒10倍のフレームアップを実現し、同等または優れたレンダリング品質を実現した。
論文 参考訳（メタデータ） (2023-12-23T13:41:56Z) - 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。
我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。
実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-14T18:54:32Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting [113.37908093915837]
既存の方法は、スコア蒸留サンプリング(SDS)を通じてメッシュやニューラルフィールドのような3D表現を最適化する。
本稿では,高精細な形状とリアルな外観を持つ高品質な3D人間を創出する,効率的かつ効果的な枠組みであるHumanGaussianを提案する。
論文 参考訳（メタデータ） (2023-11-28T18:59:58Z) - Animatable 3D Gaussians for High-fidelity Synthesis of Human Motions [37.50707388577952]
本稿では,高忠実度自由視点人間の動きをリアルタイムにレンダリングするための,アニマタブルな3次元ガウスモデルを提案する。
既存のNeRFベースの手法と比較して、このモデルはビデオフレーム間のジッタリングの問題なく、高周波の詳細で優れた能力を持っている。
論文 参考訳（メタデータ） (2023-11-22T14:00:23Z) - Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。
提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。
新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文 参考訳（メタデータ） (2023-03-21T14:41:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。