論文の概要: $E^{3}$Gen: Efficient, Expressive and Editable Avatars Generation

• arxiv url: http://arxiv.org/abs/2405.19203v2
• Date: Thu, 30 May 2024 10:38:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 12:40:32.327693
• Title: $E^{3}$Gen: Efficient, Expressive and Editable Avatars Generation
• Title（参考訳）: E^{3}$Gen: 効率的、表現的、編集可能なアバター生成
• Authors: Weitian Zhang, Yichao Yan, Yunhui Liu, Xingdong Sheng, Xiaokang Yang,
• Abstract要約: 本稿では,効率的な,表現的で編集可能なデジタルアバター生成のための3Dガウスモデルを提案する。 本稿では,これらの課題を効果的に解決するために,$E3$Genという新しいアバター生成手法を提案する。 提案手法は,アバター生成における優れた性能を実現し,表現力のあるフルボディポーズ制御と編集を可能にする。
• 参考スコア（独自算出の注目度）: 71.72171053129655
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper aims to introduce 3D Gaussian for efficient, expressive, and editable digital avatar generation. This task faces two major challenges: (1) The unstructured nature of 3D Gaussian makes it incompatible with current generation pipelines; (2) the expressive animation of 3D Gaussian in a generative setting that involves training with multiple subjects remains unexplored. In this paper, we propose a novel avatar generation method named $E^3$Gen, to effectively address these challenges. First, we propose a novel generative UV features plane representation that encodes unstructured 3D Gaussian onto a structured 2D UV space defined by the SMPL-X parametric model. This novel representation not only preserves the representation ability of the original 3D Gaussian but also introduces a shared structure among subjects to enable generative learning of the diffusion model. To tackle the second challenge, we propose a part-aware deformation module to achieve robust and accurate full-body expressive pose control. Extensive experiments demonstrate that our method achieves superior performance in avatar generation and enables expressive full-body pose control and editing. Our project page is https://olivia23333.github.io/E3Gen.
• Abstract（参考訳）: 本稿では,効率的な,表現的で編集可能なデジタルアバター生成のための3Dガウスモデルを提案する。 この課題は,(1) 3D Gaussian の非構造的性質が現行の世代パイプラインと相容れないこと,(2) 複数の被験者とのトレーニングを含む生成環境における3D Gaussian の表現的アニメーションが未探索のままである,という2つの大きな課題に直面する。 本稿では,これらの課題を効果的に解決するために,$E^3$Genという新しいアバター生成手法を提案する。 まず, SMPL-Xパラメトリックモデルで定義された2次元UV空間に非構造化3次元ガウス空間を符号化する平面表現を提案する。 この斬新な表現は、元の3Dガウスの表現能力を保持するだけでなく、拡散モデルの生成学習を可能にするために、被験者間で共有構造を導入する。 第2の課題に対処するために,頑健で正確な全体表現型ポーズ制御を実現する部分認識変形モジュールを提案する。 広汎な実験により,アバター生成における性能が向上し,表現力のあるフルボディポーズ制御と編集が可能となった。 私たちのプロジェクトページはhttps://olivia23333.github.io/E3Genです。

関連論文リスト

• Generalizable and Animatable Gaussian Head Avatar [50.34788590904843]
  本稿では,GAGAvatar(Generalizable and Animatable Gaussian Head Avatar)を提案する。 我々は、1つの前方通過で1つの画像から3次元ガウスのパラメータを生成する。 提案手法は, 従来の手法と比較して, 再現性や表現精度の点で優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T14:29:00Z)
• Atlas Gaussians Diffusion for 3D Generation [37.68480030996363]
  潜在拡散モデルは、新しい3D生成技術の開発に有効であることが証明されている。 鍵となる課題は、潜在空間と3D空間を結びつける高忠実で効率的な表現を設計することである。 我々は、フィードフォワードネイティブな3D生成のための新しい表現であるAtlas Gaussiansを紹介する。
  論文  参考訳（メタデータ） (2024-08-23T13:27:27Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• GVGEN: Text-to-3D Generation with Volumetric Representation [89.55687129165256]
  3Dガウススプラッティングは、高速で高品質なレンダリング機能で知られる3D再構成と生成のための強力な技術として登場した。 本稿では,テキスト入力から3次元ガウス表現を効率的に生成する新しい拡散型フレームワークGVGENを提案する。
  論文  参考訳（メタデータ） (2024-03-19T17:57:52Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• GAvatar: Animatable 3D Gaussian Avatars with Implicit Mesh Learning [60.33970027554299]
  ガウススプラッティングは、明示的(メッシュ)と暗黙的(NeRF)の両方の3D表現の利点を利用する強力な3D表現として登場した。 本稿では,ガウススプラッティングを利用してテキスト記述から現実的なアニマタブルなアバターを生成する。 提案手法であるGAvatarは,テキストプロンプトのみを用いて,多様なアニマタブルアバターを大規模に生成する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。