論文の概要: Text-Guided Generation and Editing of Compositional 3D Avatars

• arxiv url: http://arxiv.org/abs/2309.07125v1
• Date: Wed, 13 Sep 2023 17:59:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 13:12:51.848349
• Title: Text-Guided Generation and Editing of Compositional 3D Avatars
• Title（参考訳）: 合成3次元アバターのテキストガイド生成と編集
• Authors: Hao Zhang, Yao Feng, Peter Kulits, Yandong Wen, Justus Thies, Michael J. Black
• Abstract要約: 私たちのゴールは、テキスト記述だけで髪とアクセサリーを備えたリアルな3D顔アバターを作ることです。 既存の方法はリアリズムを欠いているか、非現実的な形状を作り出すか、編集をサポートしていないかのいずれかである。
• 参考スコア（独自算出の注目度）: 59.584042376006316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our goal is to create a realistic 3D facial avatar with hair and accessories using only a text description. While this challenge has attracted significant recent interest, existing methods either lack realism, produce unrealistic shapes, or do not support editing, such as modifications to the hairstyle. We argue that existing methods are limited because they employ a monolithic modeling approach, using a single representation for the head, face, hair, and accessories. Our observation is that the hair and face, for example, have very different structural qualities that benefit from different representations. Building on this insight, we generate avatars with a compositional model, in which the head, face, and upper body are represented with traditional 3D meshes, and the hair, clothing, and accessories with neural radiance fields (NeRF). The model-based mesh representation provides a strong geometric prior for the face region, improving realism while enabling editing of the person's appearance. By using NeRFs to represent the remaining components, our method is able to model and synthesize parts with complex geometry and appearance, such as curly hair and fluffy scarves. Our novel system synthesizes these high-quality compositional avatars from text descriptions. The experimental results demonstrate that our method, Text-guided generation and Editing of Compositional Avatars (TECA), produces avatars that are more realistic than those of recent methods while being editable because of their compositional nature. For example, our TECA enables the seamless transfer of compositional features like hairstyles, scarves, and other accessories between avatars. This capability supports applications such as virtual try-on.
• Abstract（参考訳）: 私たちのゴールは、テキスト記述だけで髪とアクセサリーを備えたリアルな3D顔アバターを作ることです。 この課題は近年大きな関心を集めているが、既存の手法ではリアリズムを欠いたり、非現実的な形状を生み出したり、髪型の変更など編集をサポートしていない。 既存の手法は、頭部、顔、毛髪、アクセサリーの1つの表現を用いて、モノリシックなモデリングアプローチを採用するため、制限されていると我々は主張する。 私たちの観察では、例えば、髪と顔は、異なる表現の恩恵を受ける非常に異なる構造的性質を持っている。 この知見に基づいて、頭、顔、上半身を伝統的な3dメッシュで表現し、髪、衣服、アクセサリーを神経放射野(nerf)で表現した構成モデルによるアバターを生成する。 モデルに基づくメッシュ表現は、顔領域の強力な幾何学的先行を提供し、人の外観の編集を可能にしながら、リアリズムを改善する。 残った成分をNeRFで表現することで、カーリーヘアやふわふわのスカーフのような複雑な形状と外観の部品をモデル化し、合成することができる。 本システムでは,これらの高品質合成アバターをテキスト記述から合成する。 提案手法は,合成アバター(teca)をテキストで生成・編集する手法であり,その構成特性から編集可能でありながら,最近の手法よりもリアルなアバターを生成できることが実証された。 例えば、TECAはヘアスタイル、スカーフ、その他のアクセサリーをアバター間でシームレスに転送することを可能にする。 この機能は仮想トライオンのようなアプリケーションをサポートする。

関連論文リスト

• GenCA: A Text-conditioned Generative Model for Realistic and Drivable Codec Avatars [44.8290935585746]
  フォトリアリスティックでコントロール可能な3Dアバターは、バーチャルリアリティー(VR/MR)、テレプレゼンス、ゲーム、映画制作など、様々な用途に欠かせない。 アバター作成の伝統的な方法は、しばしば各アバターのスキャンと再構築に時間を要する。 本稿では,多彩なアイデンティティを持つ写真リアルな顔アバターを生成可能なテキスト条件生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-24T21:25:22Z)
• Learning Disentangled Avatars with Hybrid 3D Representations [102.9632315060652]
  本稿では,DELTA(Disentangled Avatars)について述べる。 身体と衣服の絡み合いを考慮し、第二に顔と髪を縮めます。 これら2つのアプリケーションを簡単に組み合わせて、フルボディアバターをモデル化する方法を示す。
  論文  参考訳（メタデータ） (2023-09-12T17:59:36Z)
• AvatarBooth: High-Quality and Customizable 3D Human Avatar Generation [14.062402203105712]
  AvatarBoothはテキストプロンプトや特定の画像を使って高品質な3Dアバターを生成する新しい方法である。 我々の重要な貢献は、二重微調整拡散モデルを用いた正確なアバター生成制御である。 本稿では,3次元アバター生成の粗大な監視を容易にするマルチレゾリューションレンダリング戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-16T14:18:51Z)
• HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
  テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T16:53:58Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
  モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。 従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。 本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
  論文  参考訳（メタデータ） (2021-12-14T15:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。