論文の概要: Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single Camera

• arxiv url: http://arxiv.org/abs/2312.16842v1
• Date: Thu, 28 Dec 2023 06:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 17:18:27.370631
• Title: Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single Camera
• Title（参考訳）: 単眼カメラを用いた衣服付き3次元アバターの動的外観モデリング
• Authors: Hansol Lee, Junuk Cha, Yunhoe Ku, Jae Shin Yoon and Seungryul Baek
• Abstract要約: 本研究では,動的な動きを持つ人の映像を用いて,布を被った3次元アバターの高品質なモデリング手法を提案する。 明示的なモデリングのために、ニューラルネットワークは、3Dボディモデルのポイントワイドな形状残差と外観特徴を生成することを学習する。 暗黙のモデリングのために、暗黙のネットワークは、外観と3Dモーション特徴を組み合わせて、高忠実な3Dアバターをデコードする。
• 参考スコア（独自算出の注目度）: 8.308263758475938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The appearance of a human in clothing is driven not only by the pose but also by its temporal context, i.e., motion. However, such context has been largely neglected by existing monocular human modeling methods whose neural networks often struggle to learn a video of a person with large dynamics due to the motion ambiguity, i.e., there exist numerous geometric configurations of clothes that are dependent on the context of motion even for the same pose. In this paper, we introduce a method for high-quality modeling of clothed 3D human avatars using a video of a person with dynamic movements. The main challenge comes from the lack of 3D ground truth data of geometry and its temporal correspondences. We address this challenge by introducing a novel compositional human modeling framework that takes advantage of both explicit and implicit human modeling. For explicit modeling, a neural network learns to generate point-wise shape residuals and appearance features of a 3D body model by comparing its 2D rendering results and the original images. This explicit model allows for the reconstruction of discriminative 3D motion features from UV space by encoding their temporal correspondences. For implicit modeling, an implicit network combines the appearance and 3D motion features to decode high-fidelity clothed 3D human avatars with motion-dependent geometry and texture. The experiments show that our method can generate a large variation of secondary motion in a physically plausible way.
• Abstract（参考訳）: 服装における人間の外観は、ポーズだけでなく、その時間的文脈、すなわち運動によっても駆動される。 しかし、そのような文脈は、運動のあいまいさのために大きなダイナミクスを持つ人のビデオを学ぶのにしばしば苦労する既存のモノキュラーな人間のモデリング手法、つまり同じポーズであっても動きの文脈に依存する多数の幾何学的構成が存在することで、ほとんど無視されている。 本稿では,動的動作を有する人物の映像を用いて,服を着た3次元アバターの高品質なモデリング手法を提案する。 主な課題は、幾何学の3次元基底真理データとその時間的対応の欠如にある。 我々は,人間の明示的・暗黙的なモデリングを両立させる新しい構成的人間モデリングフレームワークを導入することで,この問題に対処する。 明示的なモデリングのために、ニューラルネットワークは、その2次元レンダリング結果と元の画像とを比較して、3dボディモデルのポイントワイズ形状残差と外観特徴を生成する。 この明示的なモデルは、時間対応を符号化することで、UV空間から識別可能な3次元運動特徴を再構成することができる。 暗黙のモデリングのために、暗黙のネットワークは、外観と3次元の運動特徴を組み合わせて、高忠実な布の3Dアバターを動きに依存した形状とテクスチャでデコードする。 実験により,本手法は物理的に妥当な方法で2次運動の大きな変動を生成できることが判明した。

関連論文リスト

• A Survey on 3D Human Avatar Modeling -- From Reconstruction to Generation [20.32107267981782]
  多くの現実世界のアプリケーションの中核に位置する3Dヒューマンモデリングは、大きな注目を集めている。 本調査は,3次元アバターモデリングの新技術の概要を明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T16:58:00Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)
• Learning Motion-Dependent Appearance for High-Fidelity Rendering of Dynamic Humans from a Single Camera [49.357174195542854]
  外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。 本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
  論文  参考訳（メタデータ） (2022-03-24T00:22:03Z)
• The Power of Points for Modeling Humans in Clothing [60.00557674969284]
  現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。 3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。 我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2021-09-02T17:58:45Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。