論文の概要: Human101: Training 100+FPS Human Gaussians in 100s from 1 View
- arxiv url: http://arxiv.org/abs/2312.15258v1
- Date: Sat, 23 Dec 2023 13:41:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 18:47:30.559076
- Title: Human101: Training 100+FPS Human Gaussians in 100s from 1 View
- Title（参考訳）: human101: 100fps以上のヒトガウスを1視点で訓練する
- Authors: Mingwei Li, Jiachen Tao, Zongxin Yang, Yi Yang
- Abstract要約: 1-viewビデオから高忠実度ダイナミックな3次元再構成を実現するための新しいフレームワークであるHuman101を紹介する。
提案手法は, 3次元ガウス散乱の強度を利用して, 3次元人間の明示的かつ効率的な表現を提供する。
Human101は毎秒10倍のフレームアップを実現し、同等または優れたレンダリング品質を実現した。
- 参考スコア（独自算出の注目度）: 35.77485300265528
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing the human body from single-view videos plays a pivotal role in
the virtual reality domain. One prevalent application scenario necessitates the
rapid reconstruction of high-fidelity 3D digital humans while simultaneously
ensuring real-time rendering and interaction. Existing methods often struggle
to fulfill both requirements. In this paper, we introduce Human101, a novel
framework adept at producing high-fidelity dynamic 3D human reconstructions
from 1-view videos by training 3D Gaussians in 100 seconds and rendering in
100+ FPS. Our method leverages the strengths of 3D Gaussian Splatting, which
provides an explicit and efficient representation of 3D humans. Standing apart
from prior NeRF-based pipelines, Human101 ingeniously applies a Human-centric
Forward Gaussian Animation method to deform the parameters of 3D Gaussians,
thereby enhancing rendering speed (i.e., rendering 1024-resolution images at an
impressive 60+ FPS and rendering 512-resolution images at 100+ FPS).
Experimental results indicate that our approach substantially eclipses current
methods, clocking up to a 10 times surge in frames per second and delivering
comparable or superior rendering quality. Code and demos will be released at
https://github.com/longxiang-ai/Human101.
- Abstract（参考訳）: シングルビュービデオから人体を再構築することは、仮想現実領域において重要な役割を果たす。
1つの一般的な応用シナリオは、リアルタイムレンダリングとインタラクションの確保と同時に、忠実度の高い3dデジタル人間の迅速な再構築を必要とする。
既存の方法はしばしば両方の要求を満たすのに苦労する。
本稿では,100秒で3Dガウスアンを訓練し,100秒以上のFPSでレンダリングすることで,高忠実度ダイナミックな3D再構成を実現する新しいフレームワークであるHuman101を紹介する。
本手法は3次元ガウス型スプラッティングの強みを利用して3次元人間の明示的かつ効率的な表現を行う。
従来のNeRFベースのパイプラインとは別として、Human101はHuman-centric Forward Gaussian Animation法を巧みに応用し、3Dガウスのパラメータを変形させ、レンダリング速度を向上させる。
実験結果から,本手法は現在の手法をほぼ超過し,毎秒10倍のフレームアップを実現し,同等あるいは優れたレンダリング品質を実現する。
コードとデモはhttps://github.com/longxiang-ai/human101で公開される。
関連論文リスト
- Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。
我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。
提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-10T14:29:00Z) - OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。
OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
論文 参考訳（メタデータ） (2024-04-12T13:00:06Z) - Splatter Image: Ultra-Fast Single-View 3D Reconstruction [67.96212093828179]
Splatter ImageはGaussian Splattingをベースにしており、複数の画像から3Dシーンを高速かつ高品質に再現することができる。
テスト時に38FPSでフィードフォワードで再構成を行うニューラルネットワークを学習する。
いくつかの総合、実、マルチカテゴリ、大規模ベンチマークデータセットにおいて、トレーニング中にPSNR、LPIPS、その他のメトリクスでより良い結果を得る。
論文 参考訳（メタデータ） (2023-12-20T16:14:58Z) - 3DGS-Avatar: Animatable Avatars via Deformable 3D Gaussian Splatting [32.63571465495127]
3Dガウススプラッティング(3DGS)を用いた単眼ビデオからアニマタブルな人間のアバターを作成する手法を提案する。
我々は、30分以内でトレーニングでき、リアルタイムフレームレート(50以上のFPS)でレンダリングできる非剛性ネットワークを学習する。
実験結果から,本手法は単分子入力によるアニマタブルアバター生成に対する最先端手法と比較して,同等,さらに優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2023-12-14T18:54:32Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - GauHuman: Articulated Gaussian Splatting from Monocular Human Videos [58.553979884950834]
GauHumanは、高速トレーニング(12分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルである。
ガウフマンはカノニカル空間でガウススプラッティングを符号化し、3次元ガウスを線形ブレンドスキンニング(LBS)で正標準空間からポーズ空間に変換する
ZJU_MocapとMonoCapデータセットの実験は、GauHumanが高速なトレーニングとリアルタイムレンダリング速度によって、最先端のパフォーマンスを定量的に質的に達成していることを示している。
論文 参考訳（メタデータ） (2023-12-05T18:59:14Z) - HUGS: Human Gaussian Splats [21.73294518957075]
HUGS(Human Gaussian Splats)を紹介する。
本手法は,少数の(50-100)フレームのモノクロ映像のみを撮影し,30分以内に静止シーンと完全にアニメーション可能な人間のアバターを自動で切り離すことを学習する。
我々は60FPSのレンダリング速度で最先端のレンダリング品質を実現し、従来の作業よりも100倍高速なトレーニングを実現した。
論文 参考訳（メタデータ） (2023-11-29T18:56:32Z) - Animatable 3D Gaussian: Fast and High-Quality Reconstruction of Multiple Human Avatars [18.55354901614876]
入力画像とポーズから人間のアバターを学習するAnimatable 3D Gaussianを提案する。
新規なビュー合成と新規ポーズ合成の両タスクにおいて,本手法はトレーニング時間を短縮したInstantAvatarよりも高い再現性を実現する。
本手法は,25秒のトレーニングで10人のシーンにおいて,複数のシーンに容易に拡張可能であり,それと同等の新規なビュー合成結果が得られる。
論文 参考訳（メタデータ） (2023-11-27T08:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。