論文の概要: Animatable Virtual Humans: Learning pose-dependent human representations
in UV space for interactive performance synthesis
- arxiv url: http://arxiv.org/abs/2310.03615v1
- Date: Thu, 5 Oct 2023 15:49:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 15:45:13.427202
- Title: Animatable Virtual Humans: Learning pose-dependent human representations
in UV space for interactive performance synthesis
- Title（参考訳）: Animatable Virtual Humans:インタラクティブなパフォーマンス合成のためのUV空間におけるポーズ依存人間表現の学習
- Authors: Wieland Morgenstern, Milena T. Bagdasarian, Anna Hilsmann, Peter
Eisert
- Abstract要約: 高精度な動的メッシュシーケンスから、ポーズ依存の外観と幾何学を学習する。
SMPLモデルの一貫したUV空間において、ポーズ依存の外観と幾何学の両方を符号化する。
- 参考スコア（独自算出の注目度）: 11.604386285817302
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel representation of virtual humans for highly realistic
real-time animation and rendering in 3D applications. We learn pose dependent
appearance and geometry from highly accurate dynamic mesh sequences obtained
from state-of-the-art multiview-video reconstruction. Learning pose-dependent
appearance and geometry from mesh sequences poses significant challenges, as it
requires the network to learn the intricate shape and articulated motion of a
human body. However, statistical body models like SMPL provide valuable
a-priori knowledge which we leverage in order to constrain the dimension of the
search space enabling more efficient and targeted learning and define
pose-dependency. Instead of directly learning absolute pose-dependent geometry,
we learn the difference between the observed geometry and the fitted SMPL
model. This allows us to encode both pose-dependent appearance and geometry in
the consistent UV space of the SMPL model. This approach not only ensures a
high level of realism but also facilitates streamlined processing and rendering
of virtual humans in real-time scenarios.
- Abstract（参考訳）: リアルなリアルタイムアニメーションと3Dアプリケーションにおけるレンダリングのための仮想人間の新しい表現を提案する。
最先端のマルチビュー・ビデオ再構成から得られた高精度な動的メッシュシーケンスからポーズ依存の外観と形状を学ぶ。
メッシュシーケンスからポーズ依存の外観と幾何学を学ぶことは、人体の複雑な形状と関節の動きを学習するネットワークを必要とするため、大きな課題となる。
しかし、SMPLのような統計ボディーモデルは、探索空間の次元を制限し、より効率的で目標とする学習を可能にし、ポーズ依存を定義するために活用する価値のあるアプリオリ知識を提供する。
絶対ポーズ依存幾何を直接学習する代わりに、観測された幾何と装着されたSMPLモデルの違いを学習する。
これにより、ポーズ依存の外観と形状の両方を、smplモデルの一貫したuv空間にエンコードできる。
このアプローチは、高度なリアリズムを保証するだけでなく、リアルタイムシナリオにおける仮想人間の合理化とレンダリングを促進する。
関連論文リスト
- Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single
Camera [8.308263758475938]
本研究では,動的な動きを持つ人の映像を用いて,布を被った3次元アバターの高品質なモデリング手法を提案する。
明示的なモデリングのために、ニューラルネットワークは、3Dボディモデルのポイントワイドな形状残差と外観特徴を生成することを学習する。
暗黙のモデリングのために、暗黙のネットワークは、外観と3Dモーション特徴を組み合わせて、高忠実な3Dアバターをデコードする。
論文 参考訳（メタデータ） (2023-12-28T06:04:39Z) - TriHuman : A Real-time and Controllable Tri-plane Representation for
Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。
我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。
このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
論文 参考訳（メタデータ） (2023-12-08T16:40:38Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Learning Motion-Dependent Appearance for High-Fidelity Rendering of
Dynamic Humans from a Single Camera [49.357174195542854]
外観のダイナミクスを学ぶ上で重要な課題は、違法に大量の観測を必要とすることである。
本手法は,1つの視点映像から,身体のポーズや新しいビューを時間的に協調的に生成できることを示す。
論文 参考訳（メタデータ） (2022-03-24T00:22:03Z) - Neural Actor: Neural Free-view Synthesis of Human Actors with Pose
Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。
提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文 参考訳（メタデータ） (2021-06-03T17:40:48Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳（メタデータ） (2021-05-04T23:28:55Z) - S3: Neural Shape, Skeleton, and Skinning Fields for 3D Human Modeling [103.65625425020129]
歩行者の形状、ポーズ、皮膚の重みを、データから直接学習する神経暗黙関数として表現します。
各種データセットに対するアプローチの有効性を実証し,既存の最先端手法よりも再現性が優れていることを示す。
論文 参考訳（メタデータ） (2021-01-17T02:16:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。