論文の概要: HeadEvolver: Text to Head Avatars via Expressive and Attribute-Preserving Mesh Deformation
- arxiv url: http://arxiv.org/abs/2403.09326v2
- Date: Mon, 10 Jun 2024 04:50:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 00:43:59.853482
- Title: HeadEvolver: Text to Head Avatars via Expressive and Attribute-Preserving Mesh Deformation
- Title（参考訳）: HeadEvolver: 表現的および属性保存型メッシュ変形によるアバターのヘッドテキスト
- Authors: Duotun Wang, Hengyu Meng, Zeyu Cai, Zhijing Shao, Qianxi Liu, Lin Wang, Mingming Fan, Xiaohang Zhan, Zeyu Wang,
- Abstract要約: 本稿では、テキストガイダンスからスタイリングされたヘッドアバターを生成する新しいフレームワークであるHeadEvolverを紹介する。
HeadEvolverはテンプレートのヘッドメッシュからローカルに学習可能なメッシュ変形を使用して、詳細な編集とアニメーションのために高品質なデジタルアセットを生成する。
- 参考スコア（独自算出の注目度）: 17.590555698266346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present HeadEvolver, a novel framework to generate stylized head avatars from text guidance. HeadEvolver uses locally learnable mesh deformation from a template head mesh, producing high-quality digital assets for detail-preserving editing and animation. To tackle the challenges of lacking fine-grained and semantic-aware local shape control in global deformation through Jacobians, we introduce a trainable parameter as a weighting factor for the Jacobian at each triangle to adaptively change local shapes while maintaining global correspondences and facial features. Moreover, to ensure the coherence of the resulting shape and appearance from different viewpoints, we use pretrained image diffusion models for differentiable rendering with regularization terms to refine the deformation under text guidance. Extensive experiments demonstrate that our method can generate diverse head avatars with an articulated mesh that can be edited seamlessly in 3D graphics software, facilitating downstream applications such as more efficient animation with inherited blend shapes and semantic consistency.
- Abstract（参考訳）: 本稿では、テキストガイダンスからスタイリングされたヘッドアバターを生成する新しいフレームワークであるHeadEvolverを紹介する。
HeadEvolverはテンプレートのヘッドメッシュからローカルに学習可能なメッシュ変形を使用して、詳細な編集とアニメーションのために高品質なデジタルアセットを生成する。
ジャコビアンによる大域的変形における局所形状制御の微粒化とセマンティックな制御の欠如に対処するために,各三角形におけるジャコビアンの重み付け因子としてトレーニング可能なパラメータを導入し,グローバルな対応や顔の特徴を維持しながら局所形状を適応的に変化させる。
さらに、異なる視点から得られた形状と外観のコヒーレンスを確実にするために、正規化項付き微分可能レンダリングに事前訓練された画像拡散モデルを用いて、テキスト指導下での変形を洗練させる。
大規模な実験により,本手法は3次元グラフィックソフトウェアでシームレスに編集可能なメッシュで多種多様な頭部アバターを生成できることが実証された。
関連論文リスト
- GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image [89.70322127648349]
本稿では,多種多様な3DMM駆動ヘッドアバターに適用可能な汎用的なアバター編集手法を提案する。
この目的を達成するために、単一の画像から一貫した3D修正フィールドへのリフト2D編集を可能にする新しい表現対応修正生成モデルを設計する。
論文 参考訳（メタデータ） (2024-04-02T17:58:35Z) - GPAvatar: Generalizable and Precise Head Avatar from Image(s) [71.555405205039]
GPAvatarは、1つの前方パスで1つまたは複数の画像から3Dヘッドアバターを再構築するフレームワークである。
提案手法は,忠実なアイデンティティ再構築,正確な表現制御,多視点一貫性を実現する。
論文 参考訳（メタデータ） (2024-01-18T18:56:34Z) - 3Deformer: A Common Framework for Image-Guided Mesh Deformation [27.732389685912214]
ソース3Dメッシュにセマンティック素材とユーザが指定したセマンティックイメージが与えられた場合、3Deformerはソースメッシュを正確に編集することができる。
私たちの3Deformerは素晴らしい結果をもたらし、最先端のレベルに達することができます。
論文 参考訳（メタデータ） (2023-07-19T10:44:44Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-14T22:33:09Z) - Learning Locally Editable Virtual Humans [37.95173373011365]
完全編集可能なニューラルアバターをモデル化するための新しいハイブリッド表現とエンドツーエンドのトレーニング可能なネットワークアーキテクチャを提案する。
私たちの研究の中心には、ニューラルネットワークのモデリング能力と使いやすさ、スキン付きメッシュの固有の3D一貫性を組み合わせた表現があります。
提案手法は多種多様な細かなアバターを生成し,最先端の手法に比べて優れたモデル適合性を実現する。
論文 参考訳（メタデータ） (2023-04-28T23:06:17Z) - TextDeformer: Geometry Manipulation using Text Guidance [37.02412892926677]
本稿では,テキストプロンプトのみで案内される入力三角形メッシュの変形を生成する手法を提案する。
私たちのフレームワークは、CLIPやDINOといった強力なトレーニング済み画像エンコーダとジオメトリを接続するために、微分可能なレンダリングに依存しています。
この制限を克服するために、我々はジャコビアンを通してメッシュの変形を表現し、グローバルでスムーズな方法で変形を更新する。
論文 参考訳（メタデータ） (2023-04-26T07:38:41Z) - Pixel2Mesh++: 3D Mesh Generation and Refinement from Multi-View Images [82.32776379815712]
カメラポーズの有無にかかわらず、少数のカラー画像から3次元メッシュ表現における形状生成の問題について検討する。
我々は,グラフ畳み込みネットワークを用いたクロスビュー情報を活用することにより,形状品質をさらに向上する。
我々のモデルは初期メッシュの品質とカメラポーズの誤差に頑健であり、テスト時間最適化のための微分関数と組み合わせることができる。
論文 参考訳（メタデータ） (2022-04-21T03:42:31Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳（メタデータ） (2021-12-14T15:30:32Z) - Learning Skeletal Articulations with Neural Blend Shapes [57.879030623284216]
あらかじめ定義された骨格構造を有するエンベロープを用いて3次元文字を表現できるニューラルテクニックを開発している。
我々のフレームワークは、同じ調音構造を持つリグとスキンキャラクタを学習する。
関節領域の変形品質を向上させるニューラルブレンディング形状を提案します。
論文 参考訳（メタデータ） (2021-05-06T05:58:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。