論文の概要: Skull-to-Face: Anatomy-Guided 3D Facial Reconstruction and Editing

• arxiv url: http://arxiv.org/abs/2403.16207v1
• Date: Sun, 24 Mar 2024 16:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 16:56:25.789919
• Title: Skull-to-Face: Anatomy-Guided 3D Facial Reconstruction and Editing
• Title（参考訳）: Skull-to-Face:解剖学的ガイドによる顔面再建と編集
• Authors: Yongqing Liang, Congyi Zhang, Junli Zhao, Wenping Wang, Xin Li,
• Abstract要約: 本稿では,エンドツーエンドの3次元顔再構成・探索ツールを提案する。 生体プロファイルが与えられた頭蓋骨と一致した初期参照3D顔を生成する。 そして、これらの初期像を頭蓋骨の解剖学的特徴の統計的予測に適合させる。
• 参考スコア（独自算出の注目度）: 34.39385635485985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deducing the 3D face from a skull is an essential but challenging task in forensic science and archaeology. Existing methods for automated facial reconstruction yield inaccurate results, suffering from the non-determinative nature of the problem that a skull with a sparse set of tissue depth cannot fully determine the skinned face. Additionally, their texture-less results require further post-processing stages to achieve a photo-realistic appearance. This paper proposes an end-to-end 3D face reconstruction and exploration tool, providing textured 3D faces for reference. With the help of state-of-the-art text-to-image diffusion models and image-based facial reconstruction techniques, we generate an initial reference 3D face, whose biological profile aligns with the given skull. We then adapt these initial faces to meet the statistical expectations of extruded anatomical landmarks on the skull through an optimization process. The joint statistical distribution of tissue depths is learned on a small set of anatomical landmarks on the skull. To support further adjustment, we propose an efficient face adaptation tool to assist users in tuning tissue depths, either globally or at local regions, while observing plausible visual feedback. Experiments conducted on a real skull-face dataset demonstrated the effectiveness of our proposed pipeline in terms of reconstruction accuracy, diversity, and stability.
• Abstract（参考訳）: 頭蓋骨から3D顔を引き出すことは、法科学と考古学において不可欠だが難しい課題である。 組織深度の粗い頭蓋骨が皮膚の顔を完全に決定できないという問題の非決定性に苦しむ既存の顔面再建法では、不正確な結果が得られる。 さらに、テクスチャレスの結果は、フォトリアリスティックな外観を達成するために、さらに後処理の段階を必要とする。 本稿では,3次元顔のテクスチャを基準として,エンドツーエンドの3次元顔再構成・探索ツールを提案する。 最先端のテキスト・画像拡散モデルと画像に基づく顔再構成技術を用いて、生体プロファイルが与えられた頭蓋骨と一致した初期参照3D顔を生成する。 そして、これらの初期顔は、最適化プロセスを通じて頭蓋骨の解剖学的特徴の統計的期待を満たすように適応する。 組織深度の統計的共同分布は、頭蓋骨上の小さな解剖学的ランドマークのセットで学習される。 そこで本稿では,組織深度の調整を支援するために,組織深度を世界あるいは地域,かつ可視的な視覚的フィードバックを観察しながら支援する,効率的な顔適応ツールを提案する。 実際の頭蓋顔面データセットを用いて行った実験は、再建精度、多様性、安定性の観点から、提案したパイプラインの有効性を実証した。

関連論文リスト

• EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting [39.60431471170721]
  内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。 既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。 再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
  論文  参考訳（メタデータ） (2024-07-01T07:24:09Z)
• High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
  内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。 本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
  論文  参考訳（メタデータ） (2024-04-20T18:06:26Z)
• 3D Facial Imperfection Regeneration: Deep learning approach and 3D printing prototypes [0.0]
  本研究では, 完全畳み込みメッシュオートエンコーダモデルを用いて, 不完全領域の存在下での3次元自然面の再生の可能性について検討した。 深層学習の手法をグラフ処理と解析に応用し,顔の傷の補充部を再現する能力モデルについて検討する。
  論文  参考訳（メタデータ） (2023-03-25T07:12:33Z)
• SCULPTOR: Skeleton-Consistent Face Creation Using a Learned Parametric Generator [42.25745590793068]
  本稿では,SCULPTORとSkeleton Consistencyを併用した3次元顔生成システムについて述べる。 SCULPTORのコアとなるLUCYは、プラスチック外科医とコラボレーションした最初の大規模な形状骨格顔データセットである。
  論文  参考訳（メタデータ） (2022-09-14T05:21:20Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction [76.1612334630256]
  我々は、GAN(Generative Adversarial Networks)とDCNN(Deep Convolutional Neural Networks)の力を利用して、単一画像から顔のテクスチャと形状を再構築する。 3次元顔再構成を保存したフォトリアリスティックでアイデンティティに優れた結果を示し, 初めて, 高精度な顔テクスチャ再構成を実現する。
  論文  参考訳（メタデータ） (2021-05-16T16:35:44Z)
• Inverting Generative Adversarial Renderer for Face Reconstruction [58.45125455811038]
  本稿では,GAR(Generative Adversa Renderer)について紹介する。 GARは、グラフィックルールに頼るのではなく、複雑な現実世界のイメージをモデル化することを学ぶ。 本手法は,複数顔再構成における最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-05-06T04:16:06Z)
• Face Forgery Detection by 3D Decomposition [72.22610063489248]
  顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。 顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。 直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
  論文  参考訳（メタデータ） (2020-11-19T09:25:44Z)
• 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning [54.24887282693925]
  本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。 既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。 実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
  論文  参考訳（メタデータ） (2020-09-30T17:12:35Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。