論文の概要: Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera
- arxiv url: http://arxiv.org/abs/2203.12780v1
- Date: Thu, 24 Mar 2022 00:22:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-25 13:49:50.813862
- Title: Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera
- Title（参考訳）: 1台のカメラから動的人間の高忠実度レンダリングを学習するモーション依存外観
- Authors: Jae Shin Yoon, Duygu Ceylan, Tuanfeng Y. Wang, Jingwan Lu, Jimei Yang,
Zhixin Shu, Hyun Soo Park
- Abstract要約: 外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
- 参考スコア（独自算出の注目度）: 49.357174195542854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Appearance of dressed humans undergoes a complex geometric transformation
induced not only by the static pose but also by its dynamics, i.e., there
exists a number of cloth geometric configurations given a pose depending on the
way it has moved. Such appearance modeling conditioned on motion has been
largely neglected in existing human rendering methods, resulting in rendering
of physically implausible motion. A key challenge of learning the dynamics of
the appearance lies in the requirement of a prohibitively large amount of
observations. In this paper, we present a compact motion representation by
enforcing equivariance -- a representation is expected to be transformed in the
way that the pose is transformed. We model an equivariant encoder that can
generate the generalizable representation from the spatial and temporal
derivatives of the 3D body surface. This learned representation is decoded by a
compositional multi-task decoder that renders high fidelity time-varying
appearance. Our experiments show that our method can generate a temporally
coherent video of dynamic humans for unseen body poses and novel views given a
single view video.
- Abstract（参考訳）: 着飾った人間の出現は、静的なポーズだけでなく、そのダイナミクスによっても引き起こされる複雑な幾何学的変換、すなわち、その動きに応じてポーズを与える布の幾何学的構成によってもたらされる。
このような動きに条件づけられた外観モデリングは、既存の人間のレンダリング法では無視され、身体的に不明瞭な動きのレンダリングをもたらす。
外観のダイナミクスを学ぶための重要な課題は、非常に大量の観察を必要とすることである。
本稿では、同値を強制してコンパクトな動き表現を示す。この表現は、ポーズが変換される方法で変換される。
我々は3次元体表面の空間的および時間的微分から一般化可能な表現を生成できる同変エンコーダをモデル化する。
この学習された表現は、高忠実度時間変化の外観を描画する合成マルチタスクデコーダによって復号される。
実験の結果,本手法は1つのビュービデオに対して,身体ポーズや新しいビューに対して動的人間の時間的コヒーレントな映像を生成できることが判明した。
関連論文リスト
- GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。
本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。
我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
論文 参考訳（メタデータ） (2024-09-18T13:05:43Z) - SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering [45.51684124904457]
統合されたフレームワークにおける時間的ダイナミクスと人間の外見をモデル化する新しい4DモーションパラダイムであるSurMoを提案する。
効率的なコンパクトな表面ベース三面体で4次元の人間の動きをモデル化する表面ベースの動き符号化。
身体運動学習を促進するために設計された身体運動復号法。
表面条件の効率的なデコードにより、モーショントリプレーンを画像にレンダリングする4次元の外観モデリング。
論文 参考訳（メタデータ） (2024-04-01T16:34:27Z) - Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence [47.16903508897047]
本研究では、現在のフレームのポーズ状態だけでなく、過去のポーズ状態にも人間の外観の変化が依存していることを明らかにする。
非剛性変形に対するデルタポーズシーケンス表現を利用した新しい手法であるDycoを導入する。
さらに, 慣性を考慮した3次元人間の手法は, 異なる速度での慣性による外観変化を前例なくシミュレートすることができる。
論文 参考訳（メタデータ） (2024-03-28T06:05:14Z) - AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using
Garment Rigging Model [58.035758145894846]
AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。
身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。
本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
論文 参考訳（メタデータ） (2024-01-27T08:48:18Z) - Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single
Camera [8.308263758475938]
本研究では,動的な動きを持つ人の映像を用いて,布を被った3次元アバターの高品質なモデリング手法を提案する。
明示的なモデリングのために、ニューラルネットワークは、3Dボディモデルのポイントワイドな形状残差と外観特徴を生成することを学習する。
暗黙のモデリングのために、暗黙のネットワークは、外観と3Dモーション特徴を組み合わせて、高忠実な3Dアバターをデコードする。
論文 参考訳（メタデータ） (2023-12-28T06:04:39Z) - Animatable Virtual Humans: Learning pose-dependent human representations
in UV space for interactive performance synthesis [11.604386285817302]
高精度な動的メッシュシーケンスから、ポーズ依存の外観と幾何学を学習する。
SMPLモデルの一貫したUV空間において、ポーズ依存の外観と幾何学の両方を符号化する。
論文 参考訳（メタデータ） (2023-10-05T15:49:44Z) - Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。
重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。
Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
論文 参考訳（メタデータ） (2021-11-12T20:20:37Z) - Neural Actor: Neural Free-view Synthesis of Human Actors with Pose
Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。
提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文 参考訳（メタデータ） (2021-06-03T17:40:48Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳（メタデータ） (2021-05-04T23:28:55Z) - High-Fidelity Neural Human Motion Transfer from Monocular Video [71.75576402562247]
ビデオベースの人間のモーション転送は、ソースモーションに従って人間のビデオアニメーションを作成します。
自然なポーズ依存非剛性変形を伴う高忠実で時間的に一貫性のある人の動き伝達を行う新しい枠組みを提案する。
実験結果では,映像リアリズムの点で最先端を著しく上回っている。
論文 参考訳（メタデータ） (2020-12-20T16:54:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。