論文の概要: PBDyG: Position Based Dynamic Gaussians for Motion-Aware Clothed Human Avatars

• arxiv url: http://arxiv.org/abs/2412.04433v1
• Date: Thu, 05 Dec 2024 18:53:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:30.377285
• Title: PBDyG: Position Based Dynamic Gaussians for Motion-Aware Clothed Human Avatars
• Title（参考訳）: PBDyG:モーション対応ヒトアバターのための位置ベース動的ガウスアン
• Authors: Shota Sasaki, Jane Wu, Ko Nishino,
• Abstract要約: 本稿では,マルチビューRGBビデオから学習可能な,新しいヒューマンモデルを提案する。 本手法は, 物理シミュレーションにより, 動きに依存した布の変形を実現する。 実験により,本手法は外観を正確に再現するだけでなく,高度に変形可能な衣服を装着したアバターの復元も可能であることが示された。
• 参考スコア（独自算出の注目度）: 18.101742122988707
• License:
• Abstract: This paper introduces a novel clothed human model that can be learned from multiview RGB videos, with a particular emphasis on recovering physically accurate body and cloth movements. Our method, Position Based Dynamic Gaussians (PBDyG), realizes ``movement-dependent'' cloth deformation via physical simulation, rather than merely relying on ``pose-dependent'' rigid transformations. We model the clothed human holistically but with two distinct physical entities in contact: clothing modeled as 3D Gaussians, which are attached to a skinned SMPL body that follows the movement of the person in the input videos. The articulation of the SMPL body also drives physically-based simulation of the clothes' Gaussians to transform the avatar to novel poses. In order to run position based dynamics simulation, physical properties including mass and material stiffness are estimated from the RGB videos through Dynamic 3D Gaussian Splatting. Experiments demonstrate that our method not only accurately reproduces appearance but also enables the reconstruction of avatars wearing highly deformable garments, such as skirts or coats, which have been challenging to reconstruct using existing methods.
• Abstract（参考訳）: 本稿では,多視点RGBビデオから学習可能な,身体的身体運動と布の動きを再現する新しいヒューマンモデルを提案する。 位置ベース動的ガウスアン (PBDyG) は, 単に「目的依存」の剛性変換に頼るのではなく, 物理シミュレーションによる「動き依存」の布の変形を実現する。 入力ビデオ中の人物の動きに追従する皮膚のSMPL本体に装着された3Dガウスアンをモデルとした衣服である。 SMPL本体の関節は、服のガウシアンを物理的にシミュレーションし、アバターを新しいポーズに変換する。 位置に基づく動的シミュレーションを行うために, 動的3次元ガウススプラッティングによるRGBビデオから, 質量および材料硬さを含む物理特性を推定した。 提案手法は, 外観を正確に再現するだけでなく, 既存の手法による再構築が困難であったスカートやコートなど, 高度に変形可能な衣服を装着したアバターの復元を可能にする。

関連論文リスト

• PICA: Physics-Integrated Clothed Avatar [30.277983921620663]
  PICAは, 物理学的精度のよい, 高忠実でアニマタブルな人間のアバターを, ゆるやかな衣服でも表現できる新しい表現法である。 提案手法は, 複雑で斬新な運転ポーズにおいて, 人体の高忠実なレンダリングを実現し, 従来手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-07T10:23:21Z)
• MOSS: Motion-based 3D Clothed Human Synthesis from Monocular Video [14.683309699648175]
  ワンビューの人間の再構築は、仮想現実の応用において中心的な位置を占めている。 現在の手法は、運動が表面の変形に与える影響をしばしば見落とし、その結果、表面は大域的な動きによって課される制約を欠いている。 運動に基づく3次元衣料合成 (MOSS) を導入し, 運動認識型ガウス分割を実現する。
  論文  参考訳（メタデータ） (2024-05-21T13:57:53Z)
• PhysAvatar: Learning the Physics of Dressed 3D Avatars from Visual Observations [62.14943588289551]
  逆レンダリングと逆物理を組み合わせた新しいフレームワークであるPhysAvatarを導入し、人間の形や外観を自動的に推定する。 PhysAvatarは、トレーニングデータに見られない動きや照明条件の下で、ゆったりした服を着たアバターを再構築する。
  論文  参考訳（メタデータ） (2024-04-05T21:44:57Z)
• AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model [58.035758145894846]
  AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。 身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。 本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
  論文  参考訳（メタデータ） (2024-01-27T08:48:18Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
  一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。 GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
  論文  参考訳（メタデータ） (2023-12-04T18:55:45Z)
• CaPhy: Capturing Physical Properties for Animatable Human Avatars [44.95805736197971]
  CaPhyは、服のリアルなダイナミックな特性を持つ、アニマタブルな人間のアバターを再構築する新しい方法である。 本研究の目的は、実際の観測から衣服の幾何学的・物理的特性を捉えることである。 我々は,非教師なしトレーニングと物理に基づく損失と,スキャンデータを用いた3次元教師ありトレーニングを組み合わせて,衣服の動的モデルを構築した。
  論文  参考訳（メタデータ） (2023-08-11T04:01:13Z)
• PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
  PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。 まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。 本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:15:54Z)
• Learning Motion-Dependent Appearance for High-Fidelity Rendering of Dynamic Humans from a Single Camera [49.357174195542854]
  外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。 本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
  論文  参考訳（メタデータ） (2022-03-24T00:22:03Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。