論文の概要: AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars Using 2D Diffusion

• arxiv url: http://arxiv.org/abs/2307.06526v1
• Date: Thu, 13 Jul 2023 02:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 16:10:19.137409
• Title: AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars Using 2D Diffusion
• Title（参考訳）: アバターフュージョン:2次元拡散を用いた衣服分離アバターのゼロショット生成
• Authors: Shuo Huang, Zongxin Yang, Liangting Li, Yi Yang, Jia Jia
• Abstract要約: ゼロショットテキスト-アバター生成のためのフレームワークであるAvatarFusionを提案する。 我々は遅延拡散モデルを用いて、人間の現実的なアバターを生成するためのピクセルレベルのガイダンスを提供する。 また,身体と衣服の生成を意味的に分離する新たな最適化手法である,PS-DS(Pixel-Semantics Difference-Sampling)を導入する。
• 参考スコア（独自算出の注目度）: 35.03189920136378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained vision-language models allow for the zero-shot text-based generation of 3D avatars. The previous state-of-the-art method utilized CLIP to supervise neural implicit models that reconstructed a human body mesh. However, this approach has two limitations. Firstly, the lack of avatar-specific models can cause facial distortion and unrealistic clothing in the generated avatars. Secondly, CLIP only provides optimization direction for the overall appearance, resulting in less impressive results. To address these limitations, we propose AvatarFusion, the first framework to use a latent diffusion model to provide pixel-level guidance for generating human-realistic avatars while simultaneously segmenting clothing from the avatar's body. AvatarFusion includes the first clothing-decoupled neural implicit avatar model that employs a novel Dual Volume Rendering strategy to render the decoupled skin and clothing sub-models in one space. We also introduce a novel optimization method, called Pixel-Semantics Difference-Sampling (PS-DS), which semantically separates the generation of body and clothes, and generates a variety of clothing styles. Moreover, we establish the first benchmark for zero-shot text-to-avatar generation. Our experimental results demonstrate that our framework outperforms previous approaches, with significant improvements observed in all metrics. Additionally, since our model is clothing-decoupled, we can exchange the clothes of avatars. Code will be available on Github.
• Abstract（参考訳）: 大規模な事前訓練された視覚言語モデルは、ゼロショットテキストベースの3Dアバターの生成を可能にする。 以前の最先端の手法では、人間の体メッシュを再構築した神経暗黙のモデルを監督するためにCLIPを使用していた。 しかし、このアプローチには2つの制限がある。 まず、アバター特有のモデルの欠如は、生成されたアバターに顔の歪みと非現実的な衣服を引き起こす可能性がある。 第二に、CLIPは全体的な外観に対する最適化の方向のみを提供しており、印象的な結果が少ない。 これらの制約に対処するため,我々は,アバターの体から衣服を同時に分割しながら,人間の現実的なアバターを生成するためのピクセルレベルのガイダンスを提供するために,潜伏拡散モデルを用いた最初のフレームワークであるAvatarFusionを提案する。 AvatarFusionには、新しいDual Volume Rendering戦略を採用して、デカップリングされた皮膚と衣服のサブモデルを1つの空間でレンダリングする最初の衣服分離型ニューラル暗黙アバターモデルが含まれている。 また,身体と衣服の生成を意味的に分離し,様々な衣料スタイルを生成する新たな最適化手法であるpixel-semantics difference-sampling (ps-ds)を提案する。 さらに,ゼロショットテキスト-アバター生成のための最初のベンチマークを確立する。 実験の結果,我々のフレームワークは従来のアプローチを上回っており,すべてのメトリクスで大幅な改善が見られた。 さらに,モデルが衣料品分離であるため,アバターの衣料を交換できる。 コードはgithubで入手できる。

関連論文リスト

• Animatable and Relightable Gaussians for High-fidelity Human Avatar Modeling [47.1427140235414]
  強力な2次元CNNと3次元ガウススプラッティングを活用して高忠実度アバターを作成する新しいアバター表現を提案する。 我々の手法は、動的で現実的で、一般化され、楽しく見えるアバターを作ることができる。
  論文  参考訳（メタデータ） (2023-11-27T18:59:04Z)
• Learning Disentangled Avatars with Hybrid 3D Representations [102.9632315060652]
  本稿では,DELTA(Disentangled Avatars)について述べる。 身体と衣服の絡み合いを考慮し、第二に顔と髪を縮めます。 これら2つのアプリケーションを簡単に組み合わせて、フルボディアバターをモデル化する方法を示す。
  論文  参考訳（メタデータ） (2023-09-12T17:59:36Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• AvatarGen: a 3D Generative Model for Animatable Human Avatars [108.11137221845352]
  アバタージェネレーション(AvatarGen)は、多様な外観を持つ非剛体世代だけでなく、ポーズや視点の完全な制御を可能にする最初の方法である。 非剛性力学をモデル化するために、正準空間におけるポーズ依存的な変形を学習するための変形ネットワークを導入する。 提案手法は,高品質な外観と幾何モデルを備えたアニマタブルな人体アバターを生成でき,従来の3D GANよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-08-01T01:27:02Z)
• ICON: Implicit Clothed humans Obtained from Normals [49.5397825300977]
  入念な機能は、髪や服などの細部をキャプチャできるので、最初のタスクに適している。 ICON は、SMPL(-X) の正常に条件付けされた詳細な布-ヒトの正常を推測する。 ICONは、Wild画像から頑丈な3D服を復元する一歩を踏み出した。
  論文  参考訳（メタデータ） (2021-12-16T18:59:41Z)
• Explicit Clothing Modeling for an Animatable Full-Body Avatar [21.451440299450592]
  マルチビューキャプチャービデオから上半身の衣服を明示的に表現したアニマタブルな布製のアバターを製作した。 身体力学と衣服状態の相互作用を学習するために、時間的畳み込みネットワークを用いて衣服潜伏コードの予測を行う。 3つの異なるアクターに対してフォトリアリスティックなアニメーションを出力し、単層アバターよりも布体アバターの利点を実演する。
  論文  参考訳（メタデータ） (2021-06-28T17:58:40Z)
• StylePeople: A Generative Model of Fullbody Human Avatars [59.42166744151461]
  パラメトリックメッシュに基づく体モデルとニューラルテクスチャを組み合わせた,新しいタイプのフルボディヒトアバターを提案する。 このようなアバターは衣服や髪型をうまくモデル化できるため、メッシュベースのアプローチでは問題となる。 そこで我々は,画像や映像のデータセットから学習できるアバターの生成モデルを提案する。
  論文  参考訳（メタデータ） (2021-04-16T20:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。