論文の概要: XAGen: 3D Expressive Human Avatars Generation

• arxiv url: http://arxiv.org/abs/2311.13574v1
• Date: Wed, 22 Nov 2023 18:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 13:59:21.111094
• Title: XAGen: 3D Expressive Human Avatars Generation
• Title（参考訳）: XAGen:3D表現型アバター
• Authors: Zhongcong Xu, Jianfeng Zhang, Jun Hao Liew, Jiashi Feng, Mike Zheng Shou
• Abstract要約: XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
• 参考スコア（独自算出の注目度）: 76.69560679209171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in 3D-aware GAN models have enabled the generation of realistic and controllable human body images. However, existing methods focus on the control of major body joints, neglecting the manipulation of expressive attributes, such as facial expressions, jaw poses, hand poses, and so on. In this work, we present XAGen, the first 3D generative model for human avatars capable of expressive control over body, face, and hands. To enhance the fidelity of small-scale regions like face and hands, we devise a multi-scale and multi-part 3D representation that models fine details. Based on this representation, we propose a multi-part rendering technique that disentangles the synthesis of body, face, and hands to ease model training and enhance geometric quality. Furthermore, we design multi-part discriminators that evaluate the quality of the generated avatars with respect to their appearance and fine-grained control capabilities. Experiments show that XAGen surpasses state-of-the-art methods in terms of realism, diversity, and expressive control abilities. Code and data will be made available at https://showlab.github.io/xagen.
• Abstract（参考訳）: 近年の3D対応GANモデルの進歩により、現実的で制御可能な人体画像の生成が可能になった。 しかし、既存の手法では、顔の表情、顎のポーズ、手のポーズなどの表現力のある属性の操作を無視して、主要な身体関節の制御に焦点を当てている。 本稿では,人体,顔,手の表現制御が可能なアバターのための最初の3次元生成モデルであるxagenを提案する。 顔や手などの小さな領域の忠実度を高めるため,細部をモデル化したマルチスケール・マルチパート3D表現を考案した。 この表現に基づいて,身体,顔,手の合成を分離し,モデルのトレーニングを容易にし,幾何学的品質を向上させるマルチパートレンダリング手法を提案する。 さらに, 生成するアバターの外観や細粒度制御能力に関して, 品質を評価するマルチパート判別器の設計を行った。 実験によれば、xagenは現実主義、多様性、表現力のある制御能力の観点から最先端の手法を上回っている。 コードとデータはhttps://showlab.github.io/xagen.orgで公開される。

関連論文リスト

• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• X-Avatar: Expressive Human Avatars [33.24502928725897]
  我々は、デジタル人間の完全な表現性を捉え、テレプレゼンス、AR/VRなどのライフライクな体験をもたらす新しいアバターモデルであるX-アバターを提示する。 本手法は,体,手,表情,外観を包括的にモデル化し,フル3DスキャンまたはRGB-Dデータから学習することができる。
  論文  参考訳（メタデータ） (2023-03-08T18:59:39Z)
• AvatarGen: A 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、様々な外観と制御可能なジオメトリーを持つ3D認識された人間の無監督世代である。 提案手法は, 高品質な外観と幾何学的モデリングにより, アニマタブルな3次元アバターを生成することができる。 シングルビュー再構成、再アニメーション、テキスト誘導合成/編集など、多くのアプリケーションに向いている。
  論文  参考訳（メタデータ） (2022-11-26T15:15:45Z)
• Free-HeadGAN: Neural Talking Head Synthesis with Explicit Gaze Control [54.079327030892244]
  Free-HeadGANは、人為的なニューラルトーキングヘッド合成システムである。 本研究では,3次元顔のランドマークが不足している顔のモデリングが,最先端の生成性能を達成するのに十分であることを示す。
  論文  参考訳（メタデータ） (2022-08-03T16:46:08Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。