論文の概要: OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering
- arxiv url: http://arxiv.org/abs/2404.08449v1
- Date: Fri, 12 Apr 2024 13:00:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 14:57:03.539465
- Title: OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering
- Title（参考訳）: OccGaussian: OccGaussian Splatting for Occluded Human Rendering
- Authors: Jingrui Ye, Zongkai Zhang, Yujiao Jiang, Qingmin Liao, Wenming Yang, Zongqing Lu,
- Abstract要約: 表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。
OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
- 参考スコア（独自算出の注目度）: 55.50438181721271
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rendering dynamic 3D human from monocular videos is crucial for various applications such as virtual reality and digital entertainment. Most methods assume the people is in an unobstructed scene, while various objects may cause the occlusion of body parts in real-life scenarios. Previous method utilizing NeRF for surface rendering to recover the occluded areas, but it requiring more than one day to train and several seconds to render, failing to meet the requirements of real-time interactive applications. To address these issues, we propose OccGaussian based on 3D Gaussian Splatting, which can be trained within 6 minutes and produces high-quality human renderings up to 160 FPS with occluded input. OccGaussian initializes 3D Gaussian distributions in the canonical space, and we perform occlusion feature query at occluded regions, the aggregated pixel-align feature is extracted to compensate for the missing information. Then we use Gaussian Feature MLP to further process the feature along with the occlusion-aware loss functions to better perceive the occluded area. Extensive experiments both in simulated and real-world occlusions, demonstrate that our method achieves comparable or even superior performance compared to the state-of-the-art method. And we improving training and inference speeds by 250x and 800x, respectively. Our code will be available for research purposes.
- Abstract（参考訳）: モノクロビデオからダイナミックな3D人間をレンダリングすることは、仮想現実やデジタルエンターテイメントといった様々なアプリケーションに不可欠である。
ほとんどの方法は、人々が邪魔されていないシーンにいると仮定するが、様々な物体が現実のシナリオで身体部分の閉塞を引き起こす可能性がある。
表面レンダリングにNeRFを使用した従来手法では、隠蔽領域を復元する必要があったが、トレーニングに1日以上かかり、レンダリングに数秒を要し、リアルタイムインタラクティブなアプリケーションの要件を満たしていなかった。
これらの問題に対処するため,OccGaussianは3D Gaussian Splattingをベースとして6分以内のトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
OccGaussianは標準空間で3次元ガウス分布を初期化し、隠蔽領域で閉塞特徴クエリを行い、集約された画素アライメント特徴を抽出して不足情報を補う。
次に,Gaussian Feature MLPを用いて,隠蔽領域をよりよく知覚するために,その特徴をさらに処理する。
シミュレーション実験と実世界のオクルージョン実験の両方において,本手法が最先端の手法と比較して,同等あるいは優れた性能を達成できることが実証された。
トレーニングと推論のスピードは,それぞれ250倍,800倍向上しました。
私たちのコードは研究目的で利用できます。
関連論文リスト
- GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2024-11-18T08:18:44Z) - I3DGS: Improve 3D Gaussian Splatting from Multiple Dimensions [0.0]
3D Gaussian Splattingは、3Dビュー合成の新しい手法であり、暗黙のニューラルネットワークレンダリング結果を得ることができる。
3次元ガウススプラッティングの実用化には, 十分に高速な効率を実現することが依然として困難である。
合成モデルの性能改善評価ソリューションであるI3DSと実験結果を提案する。
論文 参考訳（メタデータ） (2024-05-10T11:42:44Z) - Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。
実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。
この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
論文 参考訳（メタデータ） (2024-02-24T17:22:15Z) - Deblurring 3D Gaussian Splatting [7.315329140016319]
MLP(Multi-Layer Perceptron)を用いた3次元ガウス平滑化のための新しいリアルタイムデブロアリングフレームワークを提案する。
Deblurring 3D Gaussian Splattingはリアルタイムレンダリングを楽しめるが、ぼやけた画像から細かで鋭いディテールを再構築することができる。
論文 参考訳（メタデータ） (2024-01-01T18:23:51Z) - ASH: Animatable Gaussian Splats for Efficient and Photoreal Human Rendering [62.81677824868519]
本稿では,動的人間をリアルタイムに写実的にレンダリングするためのアニマタブルなガウススプラッティング手法を提案する。
我々は、被服をアニマタブルな3Dガウスとしてパラメータ化し、画像空間に効率よく切り込み、最終的なレンダリングを生成する。
我々は、ポーズ制御可能なアバターの競合手法を用いてASHをベンチマークし、我々の手法が既存のリアルタイムメソッドよりも大きなマージンで優れており、オフラインメソッドよりも同等またはそれ以上の結果を示すことを示した。
論文 参考訳（メタデータ） (2023-12-10T17:07:37Z) - GauHuman: Articulated Gaussian Splatting from Monocular Human Videos [58.553979884950834]
GauHumanは、高速トレーニング(12分)とリアルタイムレンダリング(最大189FPS)の両方のためのガウススプラッティングを備えた3次元人体モデルである。
ガウフマンはカノニカル空間でガウススプラッティングを符号化し、3次元ガウスを線形ブレンドスキンニング(LBS)で正標準空間からポーズ空間に変換する
ZJU_MocapとMonoCapデータセットの実験は、GauHumanが高速なトレーニングとリアルタイムレンダリング速度によって、最先端のパフォーマンスを定量的に質的に達成していることを示している。
論文 参考訳（メタデータ） (2023-12-05T18:59:14Z) - HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting [113.37908093915837]
既存の方法は、スコア蒸留サンプリング(SDS)を通じてメッシュやニューラルフィールドのような3D表現を最適化する。
本稿では,高精細な形状とリアルな外観を持つ高品質な3D人間を創出する,効率的かつ効果的な枠組みであるHumanGaussianを提案する。
論文 参考訳（メタデータ） (2023-11-28T18:59:58Z) - Animatable 3D Gaussians for High-fidelity Synthesis of Human Motions [37.50707388577952]
本稿では,高忠実度自由視点人間の動きをリアルタイムにレンダリングするための,アニマタブルな3次元ガウスモデルを提案する。
既存のNeRFベースの手法と比較して、このモデルはビデオフレーム間のジッタリングの問題なく、高周波の詳細で優れた能力を持っている。
論文 参考訳（メタデータ） (2023-11-22T14:00:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。