論文の概要: SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric Generator

• arxiv url: http://arxiv.org/abs/2209.06423v1
• Date: Wed, 14 Sep 2022 05:21:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-15 13:34:08.866199
• Title: SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric Generator
• Title（参考訳）: SCULPTOR:学習したパラメトリックジェネレータを用いた骨格型顔生成
• Authors: Zesong Qiu, Yuwei Li, Dongming He, Qixuan Zhang, Longwen Zhang, Yinghao Zhang, Jingya Wang, Lan Xu, Xudong Wang, Yuyao Zhang, Jingyi Yu
• Abstract要約: 本稿では,SCULPTORとSkeleton Consistencyを併用した3次元顔生成システムについて述べる。 SCULPTORのコアとなるLUCYは、プラスチック外科医とコラボレーションした最初の大規模な形状骨格顔データセットである。
• 参考スコア（独自算出の注目度）: 42.25745590793068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have seen growing interest in 3D human faces modelling due to its wide applications in digital human, character generation and animation. Existing approaches overwhelmingly emphasized on modeling the exterior shapes, textures and skin properties of faces, ignoring the inherent correlation between inner skeletal structures and appearance. In this paper, we present SCULPTOR, 3D face creations with Skeleton Consistency Using a Learned Parametric facial generaTOR, aiming to facilitate easy creation of both anatomically correct and visually convincing face models via a hybrid parametric-physical representation. At the core of SCULPTOR is LUCY, the first large-scale shape-skeleton face dataset in collaboration with plastic surgeons. Named after the fossils of one of the oldest known human ancestors, our LUCY dataset contains high-quality Computed Tomography (CT) scans of the complete human head before and after orthognathic surgeries, critical for evaluating surgery results. LUCY consists of 144 scans of 72 subjects (31 male and 41 female) where each subject has two CT scans taken pre- and post-orthognathic operations. Based on our LUCY dataset, we learn a novel skeleton consistent parametric facial generator, SCULPTOR, which can create the unique and nuanced facial features that help define a character and at the same time maintain physiological soundness. Our SCULPTOR jointly models the skull, face geometry and face appearance under a unified data-driven framework, by separating the depiction of a 3D face into shape blend shape, pose blend shape and facial expression blend shape. SCULPTOR preserves both anatomic correctness and visual realism in facial generation tasks compared with existing methods. Finally, we showcase the robustness and effectiveness of SCULPTOR in various fancy applications unseen before.
• Abstract（参考訳）: 近年、デジタル人間、キャラクター生成、アニメーションに広く応用されているため、人間の3次元顔モデリングへの関心が高まっている。 既存のアプローチは、顔の外観形状、テクスチャ、皮膚特性のモデル化に圧倒的に重点を置いており、内骨格構造と外観との固有の相関を無視している。 そこで,本稿では,学習型パラメトリック顔生成器を用いて立体的一貫性を持つ3次元顔生成器を製作し,ハイブリッドパラメトリック・フィジカル表現による解剖学的に正確かつ視覚的に説得力のある顔モデルの作成を容易にすることを目的とした。 SCULPTORのコアとなるLUCYは、プラスチック外科医とコラボレーションした最初の大規模な形状骨格顔データセットである。 最も古い人類の祖先の化石に因んで命名されたこのLUCYデータセットは、整形外科手術前後のヒト完全頭部の高画質CTスキャンを含んでおり、手術結果の評価に欠かせない。 LUCYは、72名(男性31名、女性41名)の144件のスキャンからなり、各被験者は、術前および術後の2回のCTスキャンを行う。 LUCYデータセットに基づいて、新しい骨格整合パラメトリック顔生成器SCULPTORを学習し、文字を定義するのに役立ち、生理的健全性を維持するのに役立ち、ユニークでニュアンスな顔の特徴を生成できる。 我々のSCULPTORは,3次元顔の描写を形状のブレンド形状に分離し,ブレンド形状と表情のブレンド形状を合成することにより,頭蓋骨,顔形状,顔の外観を統一されたデータ駆動の枠組みの下で共同でモデル化する。 SCULPTORは、既存の方法と比較して、顔生成タスクにおける解剖学的正当性と視覚的リアリズムの両方を保っている。 最後に, 彫刻者の頑健さと有効性について, 以前には見当たらなかった様々な応用例で紹介する。

関連論文リスト

• PSHuman: Photorealistic Single-view Human Reconstruction using Cross-Scale Diffusion [43.850899288337025]
  PSHumanは、マルチビュー拡散モデルから事前情報を利用した人間のメッシュを明示的に再構築する新しいフレームワークである。 単視点の人間の画像に直接多視点拡散を適用すると、厳密な幾何学的歪みが生じることが判明した。 そこで我々は, SMPL-Xのようなパラメトリックモデルを用いて, 人間のポーズの断面形状の整合性を高めるために, 生成モデルを定式化した。
  論文  参考訳（メタデータ） (2024-09-16T10:13:06Z)
• Skull-to-Face: Anatomy-Guided 3D Facial Reconstruction and Editing [34.39385635485985]
  本稿では,エンドツーエンドの3次元顔再構成・探索ツールを提案する。 生体プロファイルが与えられた頭蓋骨と一致した初期参照3D顔を生成する。 そして、これらの初期像を頭蓋骨の解剖学的特徴の統計的予測に適合させる。
  論文  参考訳（メタデータ） (2024-03-24T16:03:27Z)
• Learning a Generalized Physical Face Model From Data [19.58920251013244]
  物理シミュレーションは3次元顔アニメーションの強力なアプローチである。 大規模な3次元顔データセットから学習する,一般化された顔モデルを提案する。 我々のモデルは、目に見えないあらゆるアイデンティティに迅速に適合し、自動的に自己認識可能な物理顔モデルを生成することができる。
  論文  参考訳（メタデータ） (2024-02-29T18:59:31Z)
• Anatomically Constrained Implicit Face Models [7.141905869633729]
  本稿では,解剖学的に制約された顔モデル学習の文脈において,このような暗黙的表現の新たなユースケースを提案する。 顔の解剖学と皮膚表面を高忠実にモデル化するネットワークの集合体である解剖学的暗黙の顔モデルを提案する。 本稿では, 形状調整, 形状編集, 性能など, 様々なタスクにおいて, 提案手法の有用性を実証する。
  論文  参考訳（メタデータ） (2023-12-12T18:59:21Z)
• TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
  TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。 我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。 このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
  論文  参考訳（メタデータ） (2023-12-08T16:40:38Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• SIDER: Single-Image Neural Optimization for Facial Geometric Detail Recovery [54.64663713249079]
  SIDERは、教師なしの方法で単一の画像から詳細な顔形状を復元する新しい光度最適化手法である。 以前の作業とは対照的に、SIDERはデータセットの事前に依存せず、複数のビュー、照明変更、地上の真実の3D形状から追加の監視を必要としない。
  論文  参考訳（メタデータ） (2021-08-11T22:34:53Z)
• Detailed Avatar Recovery from Single Image [50.82102098057822]
  本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。 階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。 本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
  論文  参考訳（メタデータ） (2021-08-06T03:51:26Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model [27.553158595012974]
  画像の自動ランドマーク検出と3次元顔再構成のための最初の自動手法を提案する。 構築されたデータセットと非線形パラメトリックモデルに基づいて,入力された2次元似顔画像から3次元顔形状と向きを回帰するニューラルネットワークに基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。