論文の概要: AvatarGen: A 3D Generative Model for Animatable Human Avatars

• arxiv url: http://arxiv.org/abs/2211.14589v1
• Date: Sat, 26 Nov 2022 15:15:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 18:14:29.514610
• Title: AvatarGen: A 3D Generative Model for Animatable Human Avatars
• Title（参考訳）: AvatarGen: アニマタブルな人間のアバターのための3次元生成モデル
• Authors: Jianfeng Zhang and Zihang Jiang and Dingdong Yang and Hongyi Xu and Yichun Shi and Guoxian Song and Zhongcong Xu and Xinchao Wang and Jiashi Feng
• Abstract要約: アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
• 参考スコア（独自算出の注目度）: 108.11137221845352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised generation of 3D-aware clothed humans with various appearances and controllable geometries is important for creating virtual human avatars and other AR/VR applications. Existing methods are either limited to rigid object modeling, or not generative and thus unable to generate high-quality virtual humans and animate them. In this work, we propose AvatarGen, the first method that enables not only geometry-aware clothed human synthesis with high-fidelity appearances but also disentangled human animation controllability, while only requiring 2D images for training. Specifically, we decompose the generative 3D human synthesis into pose-guided mapping and canonical representation with predefined human pose and shape, such that the canonical representation can be explicitly driven to different poses and shapes with the guidance of a 3D parametric human model SMPL. AvatarGen further introduces a deformation network to learn non-rigid deformations for modeling fine-grained geometric details and pose-dependent dynamics. To improve the geometry quality of the generated human avatars, it leverages the signed distance field as geometric proxy, which allows more direct regularization from the 3D geometric priors of SMPL. Benefiting from these designs, our method can generate animatable 3D human avatars with high-quality appearance and geometry modeling, significantly outperforming previous 3D GANs. Furthermore, it is competent for many applications, e.g., single-view reconstruction, re-animation, and text-guided synthesis/editing. Code and pre-trained model will be available at http://jeff95.me/projects/avatargen.html.
• Abstract（参考訳）: 仮想アバターや他のAR/VRアプリケーションを作成する上では,様々な外観と制御可能なジオメトリーを持つ3D認識型衣服の無監督生成が重要である。 既存の手法は厳格なオブジェクトモデリングに制限されているか、生成的ではないため、高品質な仮想人間を生成してアニメーション化できない。 そこで本研究では,2次元画像のみをトレーニングに使用しながら,高忠実な外観を持つ図形認識型衣服合成を可能にする最初の手法であるアバターゲンを提案する。 具体的には、3次元パラメトリックな人体モデルSMPLのガイダンスを用いて、生成した3次元人間の合成を、予め定義された人間のポーズと形状によるポーズ誘導マッピングと標準表現に分解し、その標準表現を異なるポーズと形状に明示的に駆動することができる。 アバターゲンはさらに変形ネットワークを導入し、細かい幾何学的詳細とポーズ依存ダイナミクスをモデル化する非剛性変形を学習する。 生成したヒトアバターの幾何学的品質を改善するために、符号付き距離場を幾何学的プロキシとして利用し、SMPLの3次元幾何学的先行からより直接的な正規化を可能にする。 これらの設計の利点を活かし、従来の3d ganを著しく上回る高品質な外観と形状モデリングを備えた3dアバターを生成することができる。 さらに、シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。 コードと事前トレーニングされたモデルはhttp://jeff95.me/projects/avatargen.htmlで利用可能になる。

関連論文リスト

• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
  XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
  論文  参考訳（メタデータ） (2023-11-22T18:30:42Z)
• DreamHuman: Animatable 3D Avatars from Text [41.30635787166307]
  本研究では,テキスト記述のみから現実的な3次元アバターモデルを生成するDreamHumanを提案する。 我々の3Dモデルは、外観、衣服、肌のトーン、体形が多様であり、一般的なテキストから3Dへのアプローチと、以前のテキストベースの3Dアバタージェネレータを視覚的忠実度で大幅に上回っている。
  論文  参考訳（メタデータ） (2023-06-15T17:58:21Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。