論文の概要: AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text

• arxiv url: http://arxiv.org/abs/2311.17917v1
• Date: Wed, 29 Nov 2023 18:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 20:11:14.362124
• Title: AvatarStudio: High-fidelity and Animatable 3D Avatar Creation from Text
• Title（参考訳）: AvatarStudio:テキストから高忠実でアニマタブルな3Dアバター作成
• Authors: Jianfeng Zhang, Xuanmeng Zhang, Huichao Zhang, Jun Hao Liew, Chenxu Zhang, Yi Yang, Jiashi Feng
• Abstract要約: アバターストゥディオ(AvatarStudio)は、アニマタブルな人間のアバターのために、明瞭なテクスチャ化された3Dメッシュを生成する粗大で微細な生成モデルである。 調音メッシュ表現とDensePose条件拡散モデルとの相乗効果を効果的に活用することにより、AvatarStudioは高品質なアバターを作成することができる。
• 参考スコア（独自算出の注目度）: 71.09533176800707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the problem of creating high-fidelity and animatable 3D avatars from only textual descriptions. Existing text-to-avatar methods are either limited to static avatars which cannot be animated or struggle to generate animatable avatars with promising quality and precise pose control. To address these limitations, we propose AvatarStudio, a coarse-to-fine generative model that generates explicit textured 3D meshes for animatable human avatars. Specifically, AvatarStudio begins with a low-resolution NeRF-based representation for coarse generation, followed by incorporating SMPL-guided articulation into the explicit mesh representation to support avatar animation and high resolution rendering. To ensure view consistency and pose controllability of the resulting avatars, we introduce a 2D diffusion model conditioned on DensePose for Score Distillation Sampling supervision. By effectively leveraging the synergy between the articulated mesh representation and the DensePose-conditional diffusion model, AvatarStudio can create high-quality avatars from text that are ready for animation, significantly outperforming previous methods. Moreover, it is competent for many applications, e.g., multimodal avatar animations and style-guided avatar creation. For more results, please refer to our project page: http://jeff95.me/projects/avatarstudio.html
• Abstract（参考訳）: テキスト記述のみから高忠実でアニマタブルな3Dアバターを作成する問題について検討する。 既存のtext-to-avatarメソッドは、アニメーションできない静的アバターに制限されるか、将来性のある品質と正確なポーズ制御を備えたアニメーション可能なアバターを生成するのに苦労する。 これらの制約に対処するため,アニマタブルなヒトアバターに対して,明瞭なテクスチャ化された3Dメッシュを生成する粗大な生成モデルであるAvatarStudioを提案する。 特に、AvatarStudioは、粗い生成のための低解像度のNeRFベースの表現から始まり、次にSMPL誘導の調音を明示的なメッシュ表現に組み込んで、アバターアニメーションと高解像度レンダリングをサポートする。 そこで, 本研究では, DensePose で設定した2次元拡散モデルを用いて, スコア蒸留サンプリングの監視を行う。 アバタースタディオは、調停されたメッシュ表現と高密度条件拡散モデルとの相乗効果を効果的に活用することにより、アニメーションの準備が整ったテキストから高品質のアバターを作成できる。 さらに、マルチモーダルアバターアニメーションやスタイル誘導アバター作成など、多くのアプリケーションに向いている。 詳細はプロジェクトのページを参照。 http://jeff95.me/projects/avatarstudio.html。

関連論文リスト

• DreamWaltz-G: Expressive 3D Gaussian Avatars from Skeleton-Guided 2D Diffusion [69.67970568012599]
  テキストからアニマタブルな3Dアバター生成のための新しい学習フレームワークDreamWaltz-Gを提案する。 このフレームワークのコアはScore DistillationとHybrid 3D Gaussian Avatar表現にある。 我々のフレームワークは、人間のビデオ再現や多目的シーン構成など、多様なアプリケーションもサポートしています。
  論文  参考訳（メタデータ） (2024-09-25T17:59:45Z)
• WildAvatar: Web-scale In-the-wild Video Dataset for 3D Avatar Creation [55.85887047136534]
  WildAvatar(ワイルドアバター)は、YouTubeから抽出されたウェブスケールの人間のアバター生成データセットである。 我々は,アバター作成における現実のアプリケーションにおける未探索課題を,データセット上でいくつかの最先端アバター作成手法を評価した。
  論文  参考訳（メタデータ） (2024-07-02T11:17:48Z)
• AniArtAvatar: Animatable 3D Art Avatar from a Single Image [0.0]
  単一画像からアニマタブルな3D認識アートアバターを生成するための新しいアプローチを提案する。 我々は、ビュー条件付き2次元拡散モデルを用いて、中性表現で1枚の絵画像から多視点画像を合成する。 アバターアニメーションでは、制御点を抽出し、これらの点で動きを転送し、暗黙の正準空間を変形する。
  論文  参考訳（メタデータ） (2024-03-26T12:08:04Z)
• DivAvatar: Diverse 3D Avatar Generation with a Single Prompt [95.9978722953278]
  DivAvatarは、単一のテキストプロンプトから多様なアバターを生成するフレームワークである。 生成の多様性と視覚的品質を達成するための2つの重要な設計がある。 大規模な実験により、ディヴァバターは様々な外観のアバターを生成するのに非常に多用途であることが示されている。
  論文  参考訳（メタデータ） (2024-02-27T08:10:31Z)
• AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose [23.76390935089982]
  AvatarVerseはテキスト記述とポーズガイダンスから高表現性3Dアバターを生成する安定なパイプラインである。 そこで本研究では, より表現力が高いだけでなく, 高品質な3次元アバターの非忠実な3次元モデリングを提案する。
  論文  参考訳（メタデータ） (2023-08-07T14:09:46Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• DreamWaltz: Make a Scene with Complex 3D Animatable Avatars [68.49935994384047]
  本稿では,テキストガイダンスとパラメトリック人体を用いた複雑な3Dアバターの生成とアニメーションを行う新しいフレームワークであるDreamWaltzを紹介する。 アニメーションでは,様々なポーズに条件付き拡散モデルの豊富な画像から,アニマタブルな3次元アバター表現を学習する。
  論文  参考訳（メタデータ） (2023-05-21T17:59:39Z)
• SwiftAvatar: Efficient Auto-Creation of Parameterized Stylized Character on Arbitrary Avatar Engines [34.645129752596915]
  我々は,新しいアバター自動作成フレームワークであるSwiftAvatarを提案する。 我々は、アバターベクトルとその対応する現実的な顔からなる高品質なデータをできるだけ多く合成する。 実験では2つの異なるアバターエンジンにおけるSwiftAvatarの有効性と効率を実証した。
  論文  参考訳（メタデータ） (2023-01-19T16:14:28Z)
• StylePeople: A Generative Model of Fullbody Human Avatars [59.42166744151461]
  パラメトリックメッシュに基づく体モデルとニューラルテクスチャを組み合わせた,新しいタイプのフルボディヒトアバターを提案する。 このようなアバターは衣服や髪型をうまくモデル化できるため、メッシュベースのアプローチでは問題となる。 そこで我々は,画像や映像のデータセットから学習できるアバターの生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-04-16T20:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。