論文の概要: Skull-to-Face: Anatomy-Guided 3D Facial Reconstruction and Editing

• arxiv url: http://arxiv.org/abs/2403.16207v2
• Date: Sun, 22 Dec 2024 04:04:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:54:52.176896
• Title: Skull-to-Face: Anatomy-Guided 3D Facial Reconstruction and Editing
• Title（参考訳）: Skull-to-Face:解剖学的ガイドによる顔面再建と編集
• Authors: Yongqing Liang, Congyi Zhang, Junli Zhao, Wenping Wang, Xin Li,
• Abstract要約: 頭蓋骨から3D顔を引き出すことは、法科学と考古学において難しい課題である。 本稿では,エンドツーエンドの3次元顔再構成パイプラインと探索手法を提案する。 実際の頭蓋顔面データセットを用いて実験を行い,提案したパイプラインの有効性を実証した。
• 参考スコア（独自算出の注目度）: 34.39385635485985
• License:
• Abstract: Deducing the 3D face from a skull is a challenging task in forensic science and archaeology. This paper proposes an end-to-end 3D face reconstruction pipeline and an exploration method that can conveniently create textured, realistic faces that match the given skull. To this end, we propose a tissue-guided face creation and adaptation scheme. With the help of the state-of-the-art text-to-image diffusion model and parametric face model, we first generate an initial reference 3D face, whose biological profile aligns with the given skull. Then, with the help of tissue thickness distribution, we modify these initial faces to match the skull through a latent optimization process. The joint distribution of tissue thickness is learned on a set of skull landmarks using a collection of scanned skull-face pairs. We also develop an efficient face adaptation tool to allow users to interactively adjust tissue thickness either globally or at local regions to explore different plausible faces. Experiments conducted on a real skull-face dataset demonstrated the effectiveness of our proposed pipeline in terms of reconstruction accuracy, diversity, and stability. Our project page is https://xmlyqing00.github.io/skull-to-face-page.
• Abstract（参考訳）: 頭蓋骨から3D顔を引き出すことは、法科学と考古学において難しい課題である。 本稿では, 両端から端までの3次元顔再構成パイプラインと, 頭蓋骨にマッチするテクスチャ化されたリアルな顔を生成するための探索手法を提案する。 そこで本研究では,組織誘導型顔形成・適応方式を提案する。 最先端のテキスト・画像拡散モデルとパラメトリック・フェイスモデルを用いて、生体プロファイルが与えられた頭蓋骨と一致した最初の3次元顔を生成する。 そして、組織厚分布の助けを借りて、潜伏した最適化プロセスを通じて頭蓋骨と一致するように初期顔を変化させる。 組織厚の関節分布は、スキャンされた頭蓋骨と顔のペアの集合体を用いて、頭蓋骨のランドマークのセットで学習される。 また, 組織厚を世界, 地域を問わずインタラクティブに調整し, 異なる可塑性面を探索する, 効率的な顔適応ツールも開発している。 実際の頭蓋顔面データセットを用いて行った実験は、再建精度、多様性、安定性の観点から、提案したパイプラインの有効性を実証した。 私たちのプロジェクトページはhttps://xmlyqing00.github.io/skull-to-face-pageです。

関連論文リスト

• EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting [39.60431471170721]
  内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。 既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。 再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
  論文  参考訳（メタデータ） (2024-07-01T07:24:09Z)
• High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
  内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。 本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
  論文  参考訳（メタデータ） (2024-04-20T18:06:26Z)
• 3D Facial Imperfection Regeneration: Deep learning approach and 3D printing prototypes [0.0]
  本研究では, 完全畳み込みメッシュオートエンコーダモデルを用いて, 不完全領域の存在下での3次元自然面の再生の可能性について検討した。 深層学習の手法をグラフ処理と解析に応用し,顔の傷の補充部を再現する能力モデルについて検討する。
  論文  参考訳（メタデータ） (2023-03-25T07:12:33Z)
• SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric Generator [42.25745590793068]
  本稿では,SCULPTORとSkeleton Consistencyを併用した3次元顔生成システムについて述べる。 SCULPTORのコアとなるLUCYは、プラスチック外科医とコラボレーションした最初の大規模な形状骨格顔データセットである。
  論文  参考訳（メタデータ） (2022-09-14T05:21:20Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Face Forgery Detection by 3D Decomposition [72.22610063489248]
  顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。 顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。 直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
  論文  参考訳（メタデータ） (2020-11-19T09:25:44Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。