論文の概要: Real-time Deep Dynamic Characters
- arxiv url: http://arxiv.org/abs/2105.01794v1
- Date: Tue, 4 May 2021 23:28:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-06 22:38:27.688950
- Title: Real-time Deep Dynamic Characters
- Title（参考訳）: リアルタイム深部動的キャラクタ
- Authors: Marc Habermann, Lingjie Liu, Weipeng Xu, Michael Zollhoefer, Gerard
Pons-Moll, Christian Theobalt
- Abstract要約: 本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
- 参考スコア（独自算出の注目度）: 95.5592405831368
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a deep videorealistic 3D human character model displaying highly
realistic shape, motion, and dynamic appearance learned in a new weakly
supervised way from multi-view imagery. In contrast to previous work, our
controllable 3D character displays dynamics, e.g., the swing of the skirt,
dependent on skeletal body motion in an efficient data-driven way, without
requiring complex physics simulation. Our character model also features a
learned dynamic texture model that accounts for photo-realistic
motion-dependent appearance details, as well as view-dependent lighting
effects. During training, we do not need to resort to difficult dynamic 3D
capture of the human; instead we can train our model entirely from multi-view
video in a weakly supervised manner. To this end, we propose a parametric and
differentiable character representation which allows us to model coarse and
fine dynamic deformations, e.g., garment wrinkles, as explicit space-time
coherent mesh geometry that is augmented with high-quality dynamic textures
dependent on motion and view point. As input to the model, only an arbitrary 3D
skeleton motion is required, making it directly compatible with the established
3D animation pipeline. We use a novel graph convolutional network architecture
to enable motion-dependent deformation learning of body and clothing, including
dynamics, and a neural generative dynamic texture model creates corresponding
dynamic texture maps. We show that by merely providing new skeletal motions,
our model creates motion-dependent surface deformations, physically plausible
dynamic clothing deformations, as well as video-realistic surface textures at a
much higher level of detail than previous state of the art approaches, and even
in real-time.
- Abstract（参考訳）: マルチビュー画像から,より弱い教師付きで学習した,非常にリアルな形状,動き,ダイナミックな外観を呈する深層ビデオリアリスティックな3次元人物モデルを提案する。
従来の作業とは対照的に、制御可能な3Dキャラクタは、複雑な物理シミュレーションを必要とせず、効率的なデータ駆動方式で骨格体の動きに依存する、例えばスカートの揺らぎなどのダイナミックスを表示する。
我々のキャラクタモデルは、写真リアルな動きに依存した外観の詳細や、ビュー依存の照明効果を考慮に入れた動的テクスチャモデルも備えています。
トレーニング中は、人間を動的にとらえる難易度の高い3Dキャプチャに頼る必要はなく、より弱い教師付きでマルチビュービデオから完全にモデルを訓練することができる。
本研究では,動きや視点に依存する高品質な動的テクスチャを付加した,明示的な時空コヒーレントメッシュ形状として,粗さや細かな動的変形をモデル化するパラメトリックで微分可能なキャラクタ表現を提案する。
モデルへの入力には、任意の3dスケルトンの動きのみが必要であり、確立された3dアニメーションパイプラインと直接互換性がある。
我々は新しいグラフ畳み込みネットワークアーキテクチャを用いて、ダイナミックスを含む運動依存的な身体・衣服の変形学習を可能にし、ニューラル生成動的テクスチャモデルが対応する動的テクスチャマップを作成する。
我々は,新しい骨格運動を提供することで,動作に依存した表面の変形,物理的に可塑性な動的衣服の変形,および映像のリアルな表面のテクスチャを,従来の芸術的アプローチよりもはるかに詳細かつリアルタイムに生成することを示した。
関連論文リスト
- SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering [45.51684124904457]
統合されたフレームワークにおける時間的ダイナミクスと人間の外見をモデル化する新しい4DモーションパラダイムであるSurMoを提案する。
効率的なコンパクトな表面ベース三面体で4次元の人間の動きをモデル化する表面ベースの動き符号化。
身体運動学習を促進するために設計された身体運動復号法。
表面条件の効率的なデコードにより、モーショントリプレーンを画像にレンダリングする4次元の外観モデリング。
論文 参考訳（メタデータ） (2024-04-01T16:34:27Z) - Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single
Camera [8.308263758475938]
本研究では,動的な動きを持つ人の映像を用いて,布を被った3次元アバターの高品質なモデリング手法を提案する。
明示的なモデリングのために、ニューラルネットワークは、3Dボディモデルのポイントワイドな形状残差と外観特徴を生成することを学習する。
暗黙のモデリングのために、暗黙のネットワークは、外観と3Dモーション特徴を組み合わせて、高忠実な3Dアバターをデコードする。
論文 参考訳（メタデータ） (2023-12-28T06:04:39Z) - GaussianAvatar: Towards Realistic Human Avatar Modeling from a Single Video via Animatable 3D Gaussians [51.46168990249278]
一つのビデオから動的に3D映像を映し出すリアルな人間のアバターを作成するための効率的なアプローチを提案する。
GustafAvatarは、公開データセットと収集データセットの両方で検証されています。
論文 参考訳（メタデータ） (2023-12-04T18:55:45Z) - HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and
Dynamic Details [66.74088288846491]
HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。
我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
論文 参考訳（メタデータ） (2023-03-20T16:07:02Z) - Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文 参考訳（メタデータ） (2022-03-24T00:22:03Z) - 3D Neural Scene Representations for Visuomotor Control [78.79583457239836]
我々は2次元視覚観測から動的3次元シーンのモデルを純粋に学習する。
学習した表現空間上に構築された動的モデルにより,操作課題に対するビジュモータ制御が可能となる。
論文 参考訳（メタデータ） (2021-07-08T17:49:37Z) - Dynamic Neural Garments [45.833166320896716]
本稿では,身体の関節運動を取り込み,リアルな動的衣服画像列を直接生成する解を提案する。
具体的には, アバターの目標関節運動列を考慮し, ダイナミック・ニューラル・ウェアスを提案し, プラウシブル・ダイナミック・ウェアスの外観をシミュレートし, レンダリングする。
論文 参考訳（メタデータ） (2021-02-23T17:21:21Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳（メタデータ） (2020-07-22T21:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。