論文の概要: PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations
- arxiv url: http://arxiv.org/abs/2404.04421v1
- Date: Fri, 5 Apr 2024 21:44:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 21:18:18.381633
- Title: PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations
- Title（参考訳）: PhysAvatar:視覚観察から3Dアバターの物理を学ぶ
- Authors: Yang Zheng, Qingqing Zhao, Guandao Yang, Wang Yifan, Donglai Xiang, Florian Dubost, Dmitry Lagun, Thabo Beeler, Federico Tombari, Leonidas Guibas, Gordon Wetzstein,
- Abstract要約: 逆レンダリングと逆物理を組み合わせた新しいフレームワークであるPhysAvatarを導入し、人間の形や外観を自動的に推定する。
PhysAvatarは、トレーニングデータに見られない動きや照明条件の下で、ゆったりした服を着たアバターを再構築する。
- 参考スコア（独自算出の注目度）: 62.14943588289551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modeling and rendering photorealistic avatars is of crucial importance in many applications. Existing methods that build a 3D avatar from visual observations, however, struggle to reconstruct clothed humans. We introduce PhysAvatar, a novel framework that combines inverse rendering with inverse physics to automatically estimate the shape and appearance of a human from multi-view video data along with the physical parameters of the fabric of their clothes. For this purpose, we adopt a mesh-aligned 4D Gaussian technique for spatio-temporal mesh tracking as well as a physically based inverse renderer to estimate the intrinsic material properties. PhysAvatar integrates a physics simulator to estimate the physical parameters of the garments using gradient-based optimization in a principled manner. These novel capabilities enable PhysAvatar to create high-quality novel-view renderings of avatars dressed in loose-fitting clothes under motions and lighting conditions not seen in the training data. This marks a significant advancement towards modeling photorealistic digital humans using physically based inverse rendering with physics in the loop. Our project website is at: https://qingqing-zhao.github.io/PhysAvatar
- Abstract（参考訳）: フォトリアリスティックアバターのモデリングとレンダリングは多くのアプリケーションにおいて重要な役割を担っている。
しかし、視覚的な観察から3Dアバターを作る既存の方法では、服を着た人間の再構築に苦労している。
逆レンダリングと逆物理を組み合わせた新しいフレームワークであるPhysAvatarを導入し、多視点ビデオデータから人間の形状と外観を、衣服の物理パラメータとともに自動的に推定する。
この目的のために,時空間メッシュトラッキングのためのメッシュ整列4Dガウス手法と,物理的にベースとした逆レンダラーを採用し,本質的な材料特性を推定する。
PhysAvatarは物理シミュレータを統合して、勾配に基づく最適化を原理的に用いた衣服の物理パラメータを推定する。
これらの新しい能力により、PhysAvatarは、トレーニングデータに見られない動きや照明条件の下で、ゆるい服を着たアバターの高品質なノベルビューレンダリングを作成することができる。
これは、物理に基づく逆レンダリングをループ内の物理で行うことによって、フォトリアリスティックなデジタル人間をモデル化するための大きな進歩となる。
プロジェクトのWebサイトは以下の通り。
関連論文リスト
- PICA: Physics-Integrated Clothed Avatar [30.277983921620663]
PICAは, 物理学的精度のよい, 高忠実でアニマタブルな人間のアバターを, ゆるやかな衣服でも表現できる新しい表現法である。
提案手法は, 複雑で斬新な運転ポーズにおいて, 人体の高忠実なレンダリングを実現し, 従来手法よりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-07-07T10:23:21Z) - AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using
Garment Rigging Model [58.035758145894846]
AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。
身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。
本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
論文 参考訳（メタデータ） (2024-01-27T08:48:18Z) - Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single
Camera [8.308263758475938]
本研究では,動的な動きを持つ人の映像を用いて,布を被った3次元アバターの高品質なモデリング手法を提案する。
明示的なモデリングのために、ニューラルネットワークは、3Dボディモデルのポイントワイドな形状残差と外観特徴を生成することを学習する。
暗黙のモデリングのために、暗黙のネットワークは、外観と3Dモーション特徴を組み合わせて、高忠実な3Dアバターをデコードする。
論文 参考訳（メタデータ） (2023-12-28T06:04:39Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳（メタデータ） (2023-12-04T18:55:45Z) - Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [8.719797382786464]
この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。
本稿では,3次元ガウススプラッティングに基づくアニマタブルな人体モデルを提案する。
提案手法は, THuman4データセット上での最先端PSNRの改善を1.5dBで実現し, リアルタイムにレンダリングできる(512x512の80 fps)。
論文 参考訳（メタデータ） (2023-11-28T12:05:41Z) - CaPhy: Capturing Physical Properties for Animatable Human Avatars [44.95805736197971]
CaPhyは、服のリアルなダイナミックな特性を持つ、アニマタブルな人間のアバターを再構築する新しい方法である。
本研究の目的は、実際の観測から衣服の幾何学的・物理的特性を捉えることである。
我々は,非教師なしトレーニングと物理に基づく損失と,スキャンデータを用いた3次元教師ありトレーニングを組み合わせて,衣服の動的モデルを構築した。
論文 参考訳（メタデータ） (2023-08-11T04:01:13Z) - Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。
メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。
本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
論文 参考訳（メタデータ） (2022-10-04T19:34:05Z) - AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。
非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。
提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
論文 参考訳（メタデータ） (2022-08-01T01:27:02Z) - Dressing Avatars: Deep Photorealistic Appearance for Physically
Simulated Clothing [49.96406805006839]
リアルな衣服の動態とリアルなデータから学んだフォトリアリスティックな外観の両方を示す衣服の明示的なモデリングを施したポーズ駆動アバターを紹介した。
我々の重要な貢献は物理的にインスパイアされた外観ネットワークであり、視界依存的かつダイナミックな影効果を持つ光リアルな外観を生成できる。
論文 参考訳（メタデータ） (2022-06-30T17:58:20Z) - PhysXNet: A Customizable Approach for LearningCloth Dynamics on Dressed
People [38.23532960427364]
これらの衣服を装着した人間の3次元骨格運動列を与えられた変形可能な衣服のダイナミクスを予測するための学習ベースのアプローチであるPhysXNetを紹介した。
PhysXNetは、密度の高い布メッシュの幾何学をミリ秒単位で推定することができる。
PhysXNetは物理エンジンで計算したものと非常に近い布の変形を提供する。
論文 参考訳（メタデータ） (2021-11-13T21:05:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。