論文の概要: Disentangled Clothed Avatar Generation from Text Descriptions

• arxiv url: http://arxiv.org/abs/2312.05295v1
• Date: Fri, 8 Dec 2023 18:43:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 21:49:01.794563
• Title: Disentangled Clothed Avatar Generation from Text Descriptions
• Title（参考訳）: テキスト記述によるアンタングル型アバター生成
• Authors: Jionghao Wang, Yuan Liu, Zhiyang Dou, Zhengming Yu, Yongqing Liang, Xin Li, Wenping Wang, Rong Xie, Li Song
• Abstract要約: 本稿では,人体と衣服を別々に生成する新しいテキスト・トゥ・アバター生成手法を提案する。 提案手法は,テキストプロンプトとのセマンティックアライメントを向上する。
• 参考スコア（独自算出の注目度）: 39.5476255730693
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we introduced a novel text-to-avatar generation method that separately generates the human body and the clothes and allows high-quality animation on the generated avatar. While recent advancements in text-to-avatar generation have yielded diverse human avatars from text prompts, these methods typically combine all elements-clothes, hair, and body-into a single 3D representation. Such an entangled approach poses challenges for downstream tasks like editing or animation. To overcome these limitations, we propose a novel disentangled 3D avatar representation named Sequentially Offset-SMPL (SO-SMPL), building upon the SMPL model. SO-SMPL represents the human body and clothes with two separate meshes, but associates them with offsets to ensure the physical alignment between the body and the clothes. Then, we design an Score Distillation Sampling(SDS)-based distillation framework to generate the proposed SO-SMPL representation from text prompts. In comparison with existing text-to-avatar methods, our approach not only achieves higher exture and geometry quality and better semantic alignment with text prompts, but also significantly improves the visual quality of character animation, virtual try-on, and avatar editing. Our project page is at https://shanemankiw.github.io/SO-SMPL/.
• Abstract（参考訳）: 本稿では,人体と衣服を別々に生成し,生成したアバターに高品質なアニメーションを可能にする新しいテキスト・アバター生成手法を提案する。 近年のテキストとアバターの生成は、テキストプロンプトから多様な人間のアバターを生み出しているが、これらの手法は典型的には、衣服、髪、ボディインボディーを1つの3D表現に組み合わせている。 このような絡み合ったアプローチは、編集やアニメーションといった下流タスクに課題をもたらす。 これらの制約を克服するため、SMPLモデルに基づくSequentially Offset-SMPL (SO-SMPL) と呼ばれる新しい3次元アバター表現を提案する。 SO-SMPLは、人体と服を2つの異なるメッシュで表現するが、体と服の間の物理的整合性を確保するためにオフセットを関連付ける。 次に,テキストプロンプトから提案したSO-SMPL表現を生成するために,スコア蒸留サンプリング(SDS)に基づく蒸留フレームワークを設計する。 既存のテキスト・トゥ・アバター法と比較して,本手法は,高い伸縮性と幾何学的品質とテキストプロンプトとのセマンティックアライメントの向上に加えて,文字アニメーション,仮想トライオン,アバター編集の視覚的品質を大幅に向上させる。 私たちのプロジェクトページはhttps://shanemankiw.github.io/SO-SMPL/です。

関連論文リスト

• DivAvatar: Diverse 3D Avatar Generation with a Single Prompt [95.9978722953278]
  DivAvatarは、単一のテキストプロンプトから多様なアバターを生成するフレームワークである。 生成の多様性と視覚的品質を達成するための2つの重要な設計がある。 大規模な実験により、ディヴァバターは様々な外観のアバターを生成するのに非常に多用途であることが示されている。
  論文  参考訳（メタデータ） (2024-02-27T08:10:31Z)
• Text-Guided Generation and Editing of Compositional 3D Avatars [59.584042376006316]
  私たちのゴールは、テキスト記述だけで髪とアクセサリーを備えたリアルな3D顔アバターを作ることです。 既存の方法はリアリズムを欠いているか、非現実的な形状を作り出すか、編集をサポートしていないかのいずれかである。
  論文  参考訳（メタデータ） (2023-09-13T17:59:56Z)
• TADA! Text to Animatable Digital Avatars [57.52707683788961]
  TADAはテキスト記述を取り込み、高品質な幾何学とライフスタイルのテクスチャを備えた表現力のある3Dアバターを生産する。 我々は3次元変位とテクスチャマップを備えたSMPL-Xから最適化可能な高分解能ボディモデルを導出した。 我々は、生成した文字の正規表現とRGB画像をレンダリングし、SDSトレーニングプロセスにおけるそれらの潜伏埋め込みを利用する。
  論文  参考訳（メタデータ） (2023-08-21T17:59:10Z)
• AvatarFusion: Zero-shot Generation of Clothing-Decoupled 3D Avatars Using 2D Diffusion [34.609403685504944]
  ゼロショットテキスト-アバター生成のためのフレームワークであるAvatarFusionを提案する。 我々は遅延拡散モデルを用いて、人間の現実的なアバターを生成するためのピクセルレベルのガイダンスを提供する。 また,身体と衣服の生成を意味的に分離する新たな最適化手法である,PS-DS(Pixel-Semantics Difference-Sampling)を導入する。
  論文  参考訳（メタデータ） (2023-07-13T02:19:56Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• Text-Conditional Contextualized Avatars For Zero-Shot Personalization [47.85747039373798]
  本研究では,アバターによる画像生成のパーソナライズを可能にするパイプラインを提案する。 私たちのパイプラインはゼロショット、アバターテクスチャ、スタイル非依存で、アバターのトレーニングは一切必要ありません。 大規模な画像データセットを利用して人間の3Dポーズパラメータを学習する方法を初めて示す。
  論文  参考訳（メタデータ） (2023-04-14T22:00:44Z)
• DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models [55.71306021041785]
  高品質な3Dアバターを作成するためのテキスト・アンド・シェイプ・ガイドフレームワークであるDreamAvatarについて紹介する。 SMPLモデルを利用して、生成のための形状とポーズのガイダンスを提供する。 また、全体とズームインした3Dヘッドから計算した損失を共同で最適化し、一般的なマルチフェイス「Janus」問題を緩和する。
  論文  参考訳（メタデータ） (2023-04-03T12:11:51Z)
• AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Control [38.959851274747145]
  アバタークラフト(AvatarCraft)は、3Dの人間のアバターを作る方法である。 拡散モデルを用いて1つのテキストプロンプトに基づく神経アバターの幾何学とテクスチャの学習を導く。 我々は、暗黙の場を明示的なワープフィールドで変形させることにより、人間のアバターをアニマタブルにする。
  論文  参考訳（メタデータ） (2023-03-30T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。