論文の概要: HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs

• arxiv url: http://arxiv.org/abs/2312.14140v2
• Date: Fri, 31 Jan 2025 17:44:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:59:08.283529
• Title: HeadCraft: Modeling High-Detail Shape Variations for Animated 3DMMs
• Title（参考訳）: HeadCraft: アニメーション3DMMのための高精度な形状変化のモデリング
• Authors: Artem Sevastopolsky, Philip-William Grassal, Simon Giebenhain, ShahRukh Athar, Luisa Verdoliva, Matthias Niessner,
• Abstract要約: 人間の頭部モデリングの最近の進歩は、神経表現による可塑性3次元頭部モデルの生成を可能にする。 本稿では,3DMM上での詳細な3次元頭部メッシュの生成モデルを提案する。 変位のUVマップを一般化するためにStyleGANモデルを訓練し、それを後にHeadCraftと呼ぶ。
• 参考スコア（独自算出の注目度）: 9.239372828746152
• License:
• Abstract: Current advances in human head modeling allow the generation of plausible-looking 3D head models via neural representations, such as NeRFs and SDFs. Nevertheless, constructing complete high-fidelity head models with explicitly controlled animation remains an issue. Furthermore, completing the head geometry based on a partial observation, e.g., coming from a depth sensor, while preserving a high level of detail is often problematic for the existing methods. We introduce a generative model for detailed 3D head meshes on top of an articulated 3DMM, simultaneously allowing explicit animation and high-detail preservation. Our method is trained in two stages. First, we register a parametric head model with vertex displacements to each mesh of the recently introduced NPHM dataset of accurate 3D head scans. The estimated displacements are baked into a hand-crafted UV layout. Second, we train a StyleGAN model to generalize over the UV maps of displacements, which we later refer to as HeadCraft. The decomposition of the parametric model and high-quality vertex displacements allows us to animate the model and modify the regions semantically. We demonstrate the results of unconditional sampling, fitting to a scan and editing. The project page is available at https://seva100.github.io/headcraft.
• Abstract（参考訳）: 人間の頭部モデリングの最近の進歩により、NeRFやSDFといった神経表現を通じて、可塑性3次元頭部モデルを生成することができる。 それでも、明確に制御されたアニメーションで完全な高忠実なヘッドモデルを構築することは問題である。 さらに,深度センサから得られる部分的な観測,例えば,頭部形状を完結させながら,高レベルの詳細を保存することは,既存の手法ではしばしば問題となる。 本稿では,3DMM上での詳細な3次元頭部メッシュの生成モデルを提案する。 私たちの手法は2段階に分けて訓練されている。 まず,最近導入された3次元頭部スキャンのNPHMデータセットの各メッシュに頂点変位を有するパラメトリックヘッドモデルを登録する。 推定変位は手作りのUVレイアウトに焼き込まれる。 第2に、変位のUVマップを一般化するためにStyleGANモデルを訓練し、後にHeadCraftと呼ぶ。 パラメトリックモデルと高品質な頂点変位の分解により、モデルをアニメーション化し、領域を意味的に修正することができる。 本研究では,非条件サンプリングの結果を,スキャンや編集に適合させることを実証する。 プロジェクトのページはhttps://seva100.github.io/headcraft.comで公開されている。

関連論文リスト

• Generating Editable Head Avatars with 3D Gaussian GANs [57.51487984425395]
  従来の3D-Aware Generative Adversarial Network (GAN) は、フォトリアリスティックでビューに一貫性のある3Dヘッド合成を実現する。 本稿では,3次元ガウススプラッティング(3DGS)を明示的な3次元表現として取り入れることで,3次元ヘッドアバターの編集性とアニメーション制御を向上する手法を提案する。 提案手法は,最先端の制御性を備えた高品質な3D認識合成を実現する。
  論文  参考訳（メタデータ） (2024-12-26T10:10:03Z)
• Towards Native Generative Model for 3D Head Avatar [20.770534728078623]
  限られた3Dヘッドデータセットから360$circ$フルヘッドのネイティブ生成モデルを学習する方法を示す。 具体的には,360ドル周の人体頭部を生成するために,様々な表現を効果的に活用する方法について検討した。 提案されたモデルとアーティストが設計したデータセットが、限られた3Dデータセットからネイティブな生成3Dヘッドモデルを学習するための将来の研究を刺激することを期待しています。
  論文  参考訳（メタデータ） (2024-10-02T04:04:10Z)
• Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360° [25.86740659962933]
  アーティストが設計した高忠実度頭部のデータセットを構築し,それを用いた新しいパラメトリック頭部モデルを提案する。 本手法は,従来のパラメトリック3Dメッシュモデルと付加された神経テクスチャで表される顔の動き・形状・顔の外観を分離する。 実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。
  論文  参考訳（メタデータ） (2024-08-01T05:46:06Z)
• GPHM: Gaussian Parametric Head Model for Monocular Head Avatar Reconstruction [47.113910048252805]
  高忠実度3D人間の頭部アバターは、VR/AR、デジタル人間、映画製作に不可欠である。 近年の進歩は、変形可能な顔モデルを利用して、様々なアイデンティティと表現を表現するアニメーションヘッドアバターを生成している。 本稿では,人間の頭部の複雑さを正確に表現するために,三次元ガウスを用いた3次元ガウスパラメトリックヘッドモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-21T06:03:11Z)
• HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation [95.58892028614444]
  本研究は,テキスト記述から3次元ヘッド生成のためのHeadArtistを提案する。 従来の蒸留の監督の下でパラメータ化された3次元ヘッドモデルを最適化する効率的なパイプラインを考案した。 実験結果から,本手法は適切な形状とフォトリアリスティックな外観を持つ高品質な3次元頭部彫刻を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-12-12T18:59:25Z)
• HeadGaS: Real-Time Animatable Head Avatars via 3D Gaussian Splatting [11.849852156716171]
  HeadGaSは3Dガウスプレート(3DGS)を3Dヘッド再構成とアニメーションに使用するモデルである。 我々は,HeadGaSがベースラインを最大2dBまで越えて,リアルタイム推論フレームレートの最先端結果を提供することを示した。
  論文  参考訳（メタデータ） (2023-12-05T17:19:22Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Combining Implicit Function Learning and Parametric Models for 3D Human Reconstruction [123.62341095156611]
  深層学習近似として表される暗黙の関数は、3次元曲面の再構成に強力である。 このような機能は、コンピュータグラフィックスとコンピュータビジョンの両方に柔軟なモデルを構築するのに不可欠である。 詳細に富んだ暗黙関数とパラメトリック表現を組み合わせた方法論を提案する。
  論文  参考訳（メタデータ） (2020-07-22T13:46:14Z)
• Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with an RGB-D camera [2.3260877354419254]
  コンシューマグレードのRGB-Dカメラを用いたリアルタイムアニメーション3Dヘッドモデルの構築手法を提案する。 誰でも頭は即座に再構築でき、顔の動きは訓練や事前スキャンを必要とせずに撮影できる。
  論文  参考訳（メタデータ） (2020-04-22T13:22:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。