論文の概要: Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video
- arxiv url: http://arxiv.org/abs/2407.15212v2
- Date: Tue, 23 Jul 2024 12:57:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 12:09:42.223622
- Title: Surfel-based Gaussian Inverse Rendering for Fast and Relightable Dynamic Human Reconstruction from Monocular Video
- Title（参考訳）: 単眼映像からの高速で快楽な動的人体再構成のためのサーフェルベースガウス逆レンダリング
- Authors: Yiqun Zhao, Chenming Wu, Binbin Huang, Yihao Zhi, Chen Zhao, Jingdong Wang, Shenghua Gao,
- Abstract要約: 本稿では,Surfel-based Gaussian Inverse Avatar (SGIA)法を提案する。
SGIAは従来のガウスアバター法を進歩させ、人間のアバターの物理的レンダリング(PBR)特性を包括的にモデル化した。
提案手法は,既存の暗黙的手法を超越した高速光計算のために,事前積分と画像ベース照明を統合する。
- 参考スコア（独自算出の注目度）: 41.677560631206184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Efficient and accurate reconstruction of a relightable, dynamic clothed human avatar from a monocular video is crucial for the entertainment industry. This paper introduces the Surfel-based Gaussian Inverse Avatar (SGIA) method, which introduces efficient training and rendering for relightable dynamic human reconstruction. SGIA advances previous Gaussian Avatar methods by comprehensively modeling Physically-Based Rendering (PBR) properties for clothed human avatars, allowing for the manipulation of avatars into novel poses under diverse lighting conditions. Specifically, our approach integrates pre-integration and image-based lighting for fast light calculations that surpass the performance of existing implicit-based techniques. To address challenges related to material lighting disentanglement and accurate geometry reconstruction, we propose an innovative occlusion approximation strategy and a progressive training approach. Extensive experiments demonstrate that SGIA not only achieves highly accurate physical properties but also significantly enhances the realistic relighting of dynamic human avatars, providing a substantial speed advantage. We exhibit more results in our project page: https://GS-IA.github.io.
- Abstract（参考訳）: モノクラービデオから、快楽でダイナミックな服を着た人間のアバターを効率的に再現することは、エンターテイメント産業にとって不可欠である。
本稿では,Surfel-based Gaussian Inverse Avatar (SGIA)法を提案する。
SGIAは従来のガウスアバター法を進歩させ、布を被った人間のアバターの物理的ベースレンダリング(PBR)特性を包括的にモデル化し、様々な照明条件下でアバターを新しいポーズに操ることを可能にする。
具体的には、既存の暗黙的手法の性能を超越した高速光計算のために、事前積分と画像ベースの照明を統合する。
材料照明のゆがみと正確な幾何再構成に関わる課題に対処するために,革新的なオクルージョン近似戦略とプログレッシブトレーニングアプローチを提案する。
大規模な実験により、SGIAは高度に正確な物理的特性を達成できるだけでなく、ダイナミックな人間のアバターのリアルなリライティングを著しく向上させ、かなりの速度の優位性をもたらすことが示されている。
プロジェクトページでは、さらに多くの結果が示されています。
関連論文リスト
- URAvatar: Universal Relightable Gaussian Codec Avatars [42.25313535192927]
我々は,未知の照明を持つ携帯電話スキャンから,フォトリアリスティックで光沢のある頭部アバターを作成するための新しいアプローチを提案する。
再建されたアバターは、様々な環境の世界的な照明でリアルタイムでアニメーションし、信頼することができる。
論文 参考訳（メタデータ） (2024-10-31T17:59:56Z) - HAVE-FUN: Human Avatar Reconstruction from Few-Shot Unconstrained Images [33.298962236215964]
数枚の写真アルバムからのヒトアバターの復元について検討した。
動的データを扱うために,深行テトラヘドラとスキン機構を統合する。
私たちのフレームワークはHaveFunと呼ばれ、アバターの再構築、レンダリング、アニメーションを実行できます。
論文 参考訳（メタデータ） (2023-11-27T10:01:31Z) - Towards Practical Capture of High-Fidelity Relightable Avatars [60.25823986199208]
TRAvatarは、様々な照明条件下で光ステージでキャプチャされた動的画像シーケンスで訓練される。
1回のフォワードパスでリアルタイムで出現を予測でき、高品質なリライト効果が得られる。
本フレームワークは,光リアリスティックなアバターアニメーションとリライティングの優れた性能を実現する。
論文 参考訳（メタデータ） (2023-09-08T10:26:29Z) - High-Fidelity Clothed Avatar Reconstruction from a Single Image [73.15939963381906]
本研究では,1枚の画像から高忠実度布地アバター再構成を実現するための粗大な方法を提案する。
我々は暗黙のモデルを用いて、学習ベースの方法で人の標準空間の一般的な形状を学習する。
提案手法は, 提案空間における非剛性変形を最適化的に推定することにより, 表面の細部を改良する。
論文 参考訳（メタデータ） (2023-04-08T04:01:04Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳（メタデータ） (2023-03-23T00:15:34Z) - Real-time volumetric rendering of dynamic humans [83.08068677139822]
本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。
提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。
新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
論文 参考訳（メタデータ） (2023-03-21T14:41:25Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳（メタデータ） (2021-10-30T01:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。