論文の概要: Learning to regulate 3D head shape by removing occluding hair from in-the-wild images

• arxiv url: http://arxiv.org/abs/2208.12078v1
• Date: Thu, 25 Aug 2022 13:18:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-26 13:46:42.950789
• Title: Learning to regulate 3D head shape by removing occluding hair from in-the-wild images
• Title（参考訳）: 眼内画像からの毛髪除去による3次元頭部形状制御の学習
• Authors: Sohan Anisetty, Varsha Saravanabavan, Cai Yiyu
• Abstract要約: 毛髪を除去し,皮膚を再構築し,上頭骨をモデル化するための新しいアプローチを提案する。 我々の教師なし3DMMモデルは、一般的なベンチマークで最先端の結果を得る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent 3D face reconstruction methods reconstruct the entire head compared to earlier approaches which only model the face. Although these methods accurately reconstruct facial features, they do not explicitly regulate the upper part of the head. Extracting information about this part of the head is challenging due to varying degrees of occlusion by hair. We present a novel approach for modeling the upper head by removing occluding hair and reconstructing the skin, revealing information about the head shape. We introduce three objectives: 1) a dice consistency loss that enforces similarity between the overall head shape of the source and rendered image, 2) a scale consistency loss to ensure that head shape is accurately reproduced even if the upper part of the head is not visible, and 3) a 71 landmark detector trained using a moving average loss function to detect additional landmarks on the head. These objectives are used to train an encoder in an unsupervised manner to regress FLAME parameters from in-the-wild input images. Our unsupervised 3DMM model achieves state-of-the-art results on popular benchmarks and can be used to infer the head shape, facial features, and textures for direct use in animation or avatar creation.
• Abstract（参考訳）: 最近の3次元顔再構成法は、顔のみをモデル化した以前のアプローチと比較して頭部全体を再構築する。 これらの方法は顔の特徴を正確に再構築するが、頭部上部を明示的に調節するものではない。 頭部のこの部分に関する情報の抽出は、髪の閉塞度が異なるため困難である。 そこで本研究では, 頭髪の脱落と皮膚再構成による上頭部のモデリングを行い, 頭部形状に関する情報を明らかにする新しいアプローチを提案する。 3つの目的を紹介します 1)ソースの全体的な頭部形状とレンダリング画像との類似性を強制するサイス一貫性損失。 2 頭部の上部が見えない場合でも頭部形状が正確に再現されることを保証するスケールの整合性損失 3) 移動平均損失関数を用いて訓練した71個のランドマーク検出器で, 頭部に付加的なランドマークを検出する。 これらの目的は、未教師の方法でエンコーダを訓練し、フィールド内の入力画像からFLAMEパラメータを回帰するために使用される。 我々の教師なし3DMMモデルは、一般的なベンチマークで最先端の結果を得ることができ、頭部の形状、顔の特徴、テクスチャを推測してアニメーションやアバター作成に直接使用することができる。

関連論文リスト

• HeadArtist: Text-conditioned 3D Head Generation with Self Score Distillation [95.58892028614444]
  本研究は,テキスト記述から3次元ヘッド生成のためのHeadArtistを提案する。 従来の蒸留の監督の下でパラメータ化された3次元ヘッドモデルを最適化する効率的なパイプラインを考案した。 実験結果から,本手法は適切な形状とフォトリアリスティックな外観を持つ高品質な3次元頭部彫刻を実現することが示唆された。
  論文  参考訳（メタデータ） (2023-12-12T18:59:25Z)
• Controllable Dynamic Appearance for Neural 3D Portraits [54.29179484318194]
  実環境下での3D画像の完全制御を可能にするシステムであるCoDyNeRFを提案する。 CoDyNeRFは、動的外観モデルを通して照明依存効果を近似することを学ぶ。 本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
  論文  参考訳（メタデータ） (2023-09-20T02:24:40Z)
• Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation [56.267877301135634]
  現在のフルヘッド生成法では、モデルをトレーニングするために多数の3Dスキャンやマルチビューイメージが必要となる。 マルチビュー画像に制限のある完全3Dヘッドを生成する手法であるHead3Dを提案する。 本モデルは,写真リアルなレンダリングと高品質な幾何表現により,コスト効率と多種多様な完全ヘッド生成を実現する。
  論文  参考訳（メタデータ） (2023-03-28T11:12:26Z)
• Single-Camera 3D Head Fitting for Mixed Reality Clinical Applications [41.63137498124499]
  我々のゴールは、将来の複合現実感アプリケーションを実現するために、各人のヘッドモデルを再構築することである。 移動構造と多視点ステレオにより高密度な3次元再構成とカメラ情報を復元する。 次に、これらを新しい2段階のフィッティングプロセスで使用し、3Dヘッドの形状を復元する。
  論文  参考訳（メタデータ） (2021-09-06T21:03:52Z)
• Prior-Guided Multi-View 3D Head Reconstruction [28.126115947538572]
  従来の多視点ステレオ法は, 頭部構造が不明瞭なり, 毛髪部が不正確であったりするなどの低周波構造に悩まされていた。 この問題に対処するため,我々は事前誘導型暗黙的ニューラルネットワークを提案する。 これらの先行技術を利用することで、復元精度とロバスト性が向上し、高品質な3Dヘッドモデルが実現される。
  論文  参考訳（メタデータ） (2021-07-09T07:43:56Z)
• HeadGAN: One-shot Neural Head Synthesis and Editing [70.30831163311296]
  HeadGANは、3D顔表現を合成し、任意の参照画像の顔形状に適応するシステムです。 3D顔表現により、圧縮と再構築の効率的な方法、表現とポーズ編集のツールとしてさらに使用できるようになります。
  論文  参考訳（メタデータ） (2020-12-15T12:51:32Z)
• i3DMM: Deep Implicit 3D Morphable Model of Human Heads [115.19943330455887]
  本報告では,頭部の3次元形態素モデル(i3DMM)について述べる。 顔の形状、テクスチャ、表情を識別するだけでなく、髪を含む頭部全体をモデル化する。 アブレーション研究,最先端モデルとの比較,セマンティックヘッド編集やテクスチャ転送などの応用を用いて,i3DMMの利点を示す。
  論文  参考訳（メタデータ） (2020-11-28T15:01:53Z)
• Deep 3D Portrait from a Single Image [54.634207317528364]
  1枚の肖像画から人間の頭部の3次元形状を復元するための学習に基づくアプローチを提案する。 顔画像から3次元頭部再構成を学習するための2段階の幾何学的学習手法を提案する。 提案手法の精度を3次元画像と2次元画像のポーズ操作の両方で評価した。
  論文  参考訳（メタデータ） (2020-04-24T08:55:37Z)
• Real-time Simultaneous 3D Head Modeling and Facial Motion Capture with an RGB-D camera [2.3260877354419254]
  コンシューマグレードのRGB-Dカメラを用いたリアルタイムアニメーション3Dヘッドモデルの構築手法を提案する。 誰でも頭は即座に再構築でき、顔の動きは訓練や事前スキャンを必要とせずに撮影できる。
  論文  参考訳（メタデータ） (2020-04-22T13:22:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。