論文の概要: AvatarGen: a 3D Generative Model for Animatable Human Avatars
- arxiv url: http://arxiv.org/abs/2208.00561v1
- Date: Mon, 1 Aug 2022 01:27:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 13:52:36.885140
- Title: AvatarGen: a 3D Generative Model for Animatable Human Avatars
- Title（参考訳）: AvatarGen: アニマタブルな人間のアバターのための3次元生成モデル
- Authors: Jianfeng Zhang and Zihang Jiang and Dingdong Yang and Hongyi Xu and
Yichun Shi and Guoxian Song and Zhongcong Xu and Xinchao Wang and Jiashi Feng
- Abstract要約: アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。
非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。
提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
- 参考スコア（独自算出の注目度）: 108.11137221845352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised generation of clothed virtual humans with various appearance and
animatable poses is important for creating 3D human avatars and other AR/VR
applications. Existing methods are either limited to rigid object modeling, or
not generative and thus unable to synthesize high-quality virtual humans and
animate them. In this work, we propose AvatarGen, the first method that enables
not only non-rigid human generation with diverse appearance but also full
control over poses and viewpoints, while only requiring 2D images for training.
Specifically, it extends the recent 3D GANs to clothed human generation by
utilizing a coarse human body model as a proxy to warp the observation space
into a standard avatar under a canonical space. To model non-rigid dynamics, it
introduces a deformation network to learn pose-dependent deformations in the
canonical space. To improve geometry quality of the generated human avatars, it
leverages signed distance field as geometric representation, which allows more
direct regularization from the body model on the geometry learning. Benefiting
from these designs, our method can generate animatable human avatars with
high-quality appearance and geometry modeling, significantly outperforming
previous 3D GANs. Furthermore, it is competent for many applications, e.g.,
single-view reconstruction, reanimation, and text-guided synthesis. Code and
pre-trained model will be available.
- Abstract（参考訳）: 3次元アバターや他のAR/VRアプリケーションを作成するためには、さまざまな外観とアニマタブルポーズを持つ無監督仮想人間の生成が重要である。
既存の手法は剛体オブジェクトモデリングに制限されているか、生成的ではないため、高品質の仮想人間を合成してアニメーション化できない。
本研究では,AvatarGenを提案する。AvatarGenは多彩な外見を持つ非剛体世代だけでなく,ポーズや視点をフルに制御できると同時に,トレーニングに2次元画像のみを必要とする。
具体的には、粗い人体モデルを用いて、標準空間下の標準的なアバターに観察空間を向けることにより、最近の3d ganを衣服化した人間世代に拡張する。
非剛性力学をモデル化するために、正準空間におけるポーズ依存変形を学習する変形ネットワークを導入する。
生成する人間のアバターの幾何学的品質を改善するために、幾何学的表現として符号付き距離場を活用し、幾何学的学習における身体モデルからのより直接的な正則化を可能にする。
これらの設計の利点を生かして,従来の3D GANよりも優れた外観と幾何モデルを備えたアニマタブルな人体アバターを生成することができる。
さらに、シングルビュー再構成、再アニメーション、テキスト誘導合成など、多くのアプリケーションに向いている。
コードと事前トレーニングされたモデルが利用可能だ。
関連論文リスト
- Dynamic Appearance Modeling of Clothed 3D Human Avatars using a Single
Camera [8.308263758475938]
本研究では,動的な動きを持つ人の映像を用いて,布を被った3次元アバターの高品質なモデリング手法を提案する。
明示的なモデリングのために、ニューラルネットワークは、3Dボディモデルのポイントワイドな形状残差と外観特徴を生成することを学習する。
暗黙のモデリングのために、暗黙のネットワークは、外観と3Dモーション特徴を組み合わせて、高忠実な3Dアバターをデコードする。
論文 参考訳（メタデータ） (2023-12-28T06:04:39Z) - XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。
身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。
実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
論文 参考訳（メタデータ） (2023-11-22T18:30:42Z) - DreamHuman: Animatable 3D Avatars from Text [41.30635787166307]
本研究では,テキスト記述のみから現実的な3次元アバターモデルを生成するDreamHumanを提案する。
我々の3Dモデルは、外観、衣服、肌のトーン、体形が多様であり、一般的なテキストから3Dへのアプローチと、以前のテキストベースの3Dアバタージェネレータを視覚的忠実度で大幅に上回っている。
論文 参考訳（メタデータ） (2023-06-15T17:58:21Z) - AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳（メタデータ） (2023-05-03T17:56:24Z) - DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via
Diffusion Models [55.71306021041785]
高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。
SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。
また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
論文 参考訳（メタデータ） (2023-04-03T12:11:51Z) - AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。
提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。
シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
論文 参考訳（メタデータ） (2022-11-26T15:15:45Z) - The Power of Points for Modeling Humans in Clothing [60.00557674969284]
現在、アーティストはリアルな衣服で自然に動く3Dアバターを作る必要がある。
3次元表現は様々なトポロジを高分解能で捉えることができ、データから学習できることを示す。
我々は、異なる衣服の形状を表現するために、新しい局所的な衣服幾何学的特徴を持つニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2021-09-02T17:58:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。