論文の概要: HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

• arxiv url: http://arxiv.org/abs/2312.14140v1
• Date: Thu, 21 Dec 2023 18:57:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 13:29:41.012275
• Title: HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs
• Title（参考訳）: HeadCraft: アニメーション3DMMのための高精度な形状変化のモデリング
• Authors: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner
• Abstract要約: 本稿では,3DMM上での詳細な3次元頭部メッシュの生成モデルを提案する。 変位のUVマップを一般化するために,StyleGANモデルを訓練する。 非条件生成の結果を実測および部分観察に適合させる。
• 参考スコア（独自算出の注目度）: 9.790185628415301
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current advances in human head modeling allow to generate plausible-looking 3D head models via neural representations. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g. coming from a depth sensor, while preserving details is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM which allows explicit animation and high-detail preservation at the same time. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model in order to generalize over the UV maps of displacements. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify it semantically. We demonstrate the results of unconditional generation and fitting to the full or partial observation. The project page is available at https://seva100.github.io/headcraft.
• Abstract（参考訳）: 人間の頭部モデリングの最近の進歩は、神経表現を通して可塑性3次元頭部モデルを生成することができる。 それでも、明確に制御されたアニメーションで完全な高忠実なヘッドモデルを構築することは問題である。 さらに、例えば深度センサーから来るような部分的な観測に基づいて頭部の幾何学を完成させる一方で、詳細を保存することは、既存の手法ではしばしば問題となる。 本稿では,3dmmによる明示的なアニメーションと高精細な保存を同時に行うための,詳細な3dヘッドメッシュ生成モデルを提案する。 我々の方法は2つの段階に訓練されている。 まず,最近導入された3次元頭部スキャンのNPHMデータセットの各メッシュに頂点変位を有するパラメトリックヘッドモデルを登録する。 推定変位は手作りのUVレイアウトに焼き込まれる。 第二に、変位のUVマップを一般化するためにStyleGANモデルを訓練する。 パラメトリックモデルと高品質な頂点変位の分解により、モデルをアニメーション化し、セマンティックに修正することができる。 非条件生成の結果と全または部分的観測結果との適合性を示す。 プロジェクトページはhttps://seva100.github.io/headcraftで閲覧できます。

関連論文リスト

• Towards Native Generative Model for 3D Head Avatar [20.770534728078623]
  限られた3Dヘッドデータセットから360$circ$フルヘッドのネイティブ生成モデルを学習する方法を示す。 具体的には,360ドル周の人体頭部を生成するために,様々な表現を効果的に活用する方法について検討した。 提案されたモデルとアーティストが設計したデータセットが、限られた3Dデータセットからネイティブな生成3Dヘッドモデルを学習するための将来の研究を刺激することを期待しています。
  論文  参考訳（メタデータ） (2024-10-02T04:04:10Z)
• Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360° [25.86740659962933]
  アーティストが設計した高忠実度頭部のデータセットを構築し,それを用いた新しいパラメトリック頭部モデルを提案する。 本手法は,従来のパラメトリック3Dメッシュモデルと付加された神経テクスチャで表される顔の動き・形状・顔の外観を分離する。 実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。
  論文  参考訳（メタデータ） (2024-08-01T05:46:06Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• SuperGaussian: Repurposing Video Models for 3D Super Resolution [67.19266415499139]
  本稿では,幾何学的および外観的詳細を付加することにより,粗い3次元モデルをアップサンプルする,単純でモジュラーで汎用的な手法を提案する。 既存の3次元超解像モデルを直接再利用できることを実証する。
  論文  参考訳（メタデータ） (2024-06-02T03:44:50Z)
• Probing the 3D Awareness of Visual Foundation Models [56.68380136809413]
  視覚基礎モデルの3次元認識を解析する。 凍結した特徴に対するタスク固有プローブとゼロショット推論手法を用いて実験を行う。
  論文  参考訳（メタデータ） (2024-04-12T17:58:04Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• i3DMM: Deep Implicit 3D Morphable Model of Human Heads [115.19943330455887]
  本報告では,頭部の3次元形態素モデル(i3DMM)について述べる。 顔の形状、テクスチャ、表情を識別するだけでなく、髪を含む頭部全体をモデル化する。 アブレーション研究,最先端モデルとの比較,セマンティックヘッド編集やテクスチャ転送などの応用を用いて,i3DMMの利点を示す。
  論文  参考訳（メタデータ） (2020-11-28T15:01:53Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)
• Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with an RGB-D camera [2.3260877354419254]
  コンシューマグレードのRGB-Dカメラを用いたリアルタイムアニメーション3Dヘッドモデルの構築手法を提案する。 誰でも頭は即座に再構築でき、顔の動きは訓練や事前スキャンを必要とせずに撮影できる。
  論文  参考訳（メタデータ） (2020-04-22T13:22:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。