論文の概要: High-Quality Facial Geometry and Appearance Capture at Home

• arxiv url: http://arxiv.org/abs/2312.03442v1
• Date: Wed, 6 Dec 2023 11:51:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 15:10:38.271428
• Title: High-Quality Facial Geometry and Appearance Capture at Home
• Title（参考訳）: 家庭における高品質顔の形状と外観の捉え方
• Authors: Yuxuan Han, Junfeng Lyu, Feng Xu
• Abstract要約: 本稿では,高品質な顔撮影のための新しい手法を提案する。 使いやすく、顔全体を皮膚、口内、髪、目でモデル化できる。 実験により,本手法は高品質な3次元リライタブルスキャンを捉えることができることがわかった。
• 参考スコア（独自算出の注目度）: 9.838112819644405
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial geometry and appearance capture have demonstrated tremendous success in 3D scanning real humans in studios. Recent works propose to democratize this technique while keeping the results high quality. However, they are still inconvenient for daily usage. In addition, they focus on an easier problem of only capturing facial skin. This paper proposes a novel method for high-quality face capture, featuring an easy-to-use system and the capability to model the complete face with skin, mouth interior, hair, and eyes. We reconstruct facial geometry and appearance from a single co-located smartphone flashlight sequence captured in a dim room where the flashlight is the dominant light source (e.g. rooms with curtains or at night). To model the complete face, we propose a novel hybrid representation to effectively model both eyes and other facial regions, along with novel techniques to learn it from images. We apply a combined lighting model to compactly represent real illuminations and exploit a morphable face albedo model as a reflectance prior to disentangle diffuse and specular. Experiments show that our method can capture high-quality 3D relightable scans.
• Abstract（参考訳）: 顔の幾何学と外観のキャプチャーは、スタジオで本物の人間を3Dスキャンすることに成功した。 最近の研究は、結果を高品質に保ちながら、この技術を民主化することを提案する。 しかし、日常的な利用には不便である。 さらに、顔の皮膚のみを捉えるという、より簡単な問題にも焦点を当てている。 本稿では,肌,口内,髪,眼で顔全体をモデル化する,使い易いシステムと機能を備えた,高品質な顔撮影法を提案する。 我々は、懐中電灯が支配的な光源(カーテン付きの部屋や夜など)である薄暗い部屋で捕獲された1つのスマートフォンの懐中電灯シーケンスから顔形状と外観を再構成する。 顔を完全にモデル化するために,目と他の顔領域を効果的にモデル化する新しいハイブリッド表現法と,画像から学習する新しい手法を提案する。 複合照明モデルを用いて実照度をコンパクトに表現し,変形可能な面アルベドモデルを拡散面と鏡面の異方性に先立って反射率として利用する。 実験により, 高品質な3d可読スキャンが可能となった。

関連論文リスト

• Lite2Relight: 3D-aware Single Image Portrait Relighting [87.62069509622226]
  Lite2Relightは、肖像画の3D一貫性のある頭部ポーズを予測できる新しいテクニックだ。 事前学習した幾何認識エンコーダと特徴アライメントモジュールを利用することで、入力画像を3D空間にマッピングする。 これには、髪、目、表情を含むフルヘッドの3D一貫性のある結果が含まれる。
  論文  参考訳（メタデータ） (2024-07-15T07:16:11Z)
• FitDiff: Robust monocular 3D facial shape and reflectance estimation using Diffusion Models [79.65289816077629]
  拡散型3次元顔アバター生成モデルFitDiffを提案する。 本モデルでは,「近距離」2次元顔画像から抽出したアイデンティティ埋め込みを利用して,再現性のある顔アバターを高精度に生成する。 FitDiffは、顔認識の埋め込みを前提とした最初の3D LDMであり、一般的なレンダリングエンジンで使用可能な、ライティング可能な人間のアバターを再構築する。
  論文  参考訳（メタデータ） (2023-12-07T17:35:49Z)
• NeuFace: Realistic 3D Neural Face Rendering from Multi-view Images [18.489290898059462]
  本稿では,新しい3次元顔レンダリングモデルであるNeuFaceを提案し,その基礎となる3次元表現の正確かつ物理的意味を学習する。 BRDFと簡易な低ランク前処理を導入し,両面のあいまいさを効果的に低減し,顔のBRDFの性能を向上させる。
  論文  参考訳（メタデータ） (2023-03-24T15:57:39Z)
• High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors [29.293166730794606]
  そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。 既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
  論文  参考訳（メタデータ） (2022-11-28T04:49:46Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Novel View Synthesis for High-fidelity Headshot Scenes [5.33510552066148]
  我々はNeRFが幾何的整合性を維持しながら新しいビューを描画できることを発見したが、モルや毛穴などの皮膚の詳細を適切に保持していない。 本研究では,NeRFと3DMMを併用して,顔を持つシーンの高忠実な新規ビューを合成する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-31T08:14:15Z)
• AvatarMe++: Facial Shape and BRDF Inference with Photorealistic Rendering-Aware GANs [119.23922747230193]
  そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。 本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
  論文  参考訳（メタデータ） (2021-12-11T11:36:30Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。