論文の概要: Deep 3D Portrait from a Single Image

• arxiv url: http://arxiv.org/abs/2004.11598v1
• Date: Fri, 24 Apr 2020 08:55:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 03:53:26.309308
• Title: Deep 3D Portrait from a Single Image
• Title（参考訳）: 単一画像からの深部3次元画像
• Authors: Sicheng Xu, Jiaolong Yang, Dong Chen, Fang Wen, Yu Deng, Yunde Jia, Xin Tong
• Abstract要約: 1枚の肖像画から人間の頭部の3次元形状を復元するための学習に基づくアプローチを提案する。 顔画像から3次元頭部再構成を学習するための2段階の幾何学的学習手法を提案する。 提案手法の精度を3次元画像と2次元画像のポーズ操作の両方で評価した。
• 参考スコア（独自算出の注目度）: 54.634207317528364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a learning-based approach for recovering the 3D geometry of human head from a single portrait image. Our method is learned in an unsupervised manner without any ground-truth 3D data. We represent the head geometry with a parametric 3D face model together with a depth map for other head regions including hair and ear. A two-step geometry learning scheme is proposed to learn 3D head reconstruction from in-the-wild face images, where we first learn face shape on single images using self-reconstruction and then learn hair and ear geometry using pairs of images in a stereo-matching fashion. The second step is based on the output of the first to not only improve the accuracy but also ensure the consistency of overall head geometry. We evaluate the accuracy of our method both in 3D and with pose manipulation tasks on 2D images. We alter pose based on the recovered geometry and apply a refinement network trained with adversarial learning to ameliorate the reprojected images and translate them to the real image domain. Extensive evaluations and comparison with previous methods show that our new method can produce high-fidelity 3D head geometry and head pose manipulation results.
• Abstract（参考訳）: 本稿では,人間の頭部の3次元形状を1枚のポートレート画像から復元する学習に基づくアプローチを提案する。 本手法は3dデータを用いずに教師なしで学習する。 頭部形状を、髪や耳など他の頭部領域の深さマップとともに、パラメトリックな3d顔モデルで表現する。 顔画像から3次元頭部再構成を学習する2段階の幾何学的学習法を提案し, 自己再構成を用いて顔の形状を学習し, ステレオマッチング方式で髪と耳の形状を学習する。 第2のステップは、第1の出力に基づいて、精度を向上するだけでなく、全体の頭部形状の整合性を確保する。 提案手法の精度を3次元画像と2次元画像のポーズ操作の両方で評価した。 復元された幾何に基づいてポーズを変更し、敵の学習で訓練された改良ネットワークを適用して、再投影された画像を改善し、実際の画像領域に翻訳する。 従来手法との比較により,本手法は高忠実度3次元頭部形状と頭部ポーズ操作結果が得られることが示された。

関連論文リスト

• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360$^{\circ}$ [17.355141949293852]
  3次元頭部合成のための既存の3次元生成対向ネットワーク(GAN)は、正面近傍のビューに限られるか、大きなビュー角で3次元の一貫性を維持するのが困難である。 パノヘッド(PanoHead)は、360ドル(約3万3000円)で高画質のフルヘッド画像合成を可能にする最初の3D認識生成モデルである。
  論文  参考訳（メタデータ） (2023-03-23T06:54:34Z)
• Beyond 3DMM: Learning to Capture High-fidelity 3D Face Shape [77.95154911528365]
  3Dモーフィブルモデル(3DMM)の適合性は、その強力な3D先行性のため、顔解析に広く有用である。 以前に再建された3次元顔は、微細な形状が失われるため、視差の低下に悩まされていた。 本論文は, パーソナライズされた形状が対応する人物と同一に見えるよう, パーソナライズされた形状を捉えるための完全な解を提案する。
  論文  参考訳（メタデータ） (2022-04-09T03:46:18Z)
• Prior-Guided Multi-View 3D Head Reconstruction [28.126115947538572]
  従来の多視点ステレオ法は, 頭部構造が不明瞭なり, 毛髪部が不正確であったりするなどの低周波構造に悩まされていた。 この問題に対処するため,我々は事前誘導型暗黙的ニューラルネットワークを提案する。 これらの先行技術を利用することで、復元精度とロバスト性が向上し、高品質な3Dヘッドモデルが実現される。
  論文  参考訳（メタデータ） (2021-07-09T07:43:56Z)
• Hybrid Approach for 3D Head Reconstruction: Using Neural Networks and Visual Geometry [3.970492757288025]
  本稿では,深層学習と幾何学的手法に基づくハイブリッド手法を用いて,複数の画像から3次元頭部を再構築する手法を提案する。 U-netアーキテクチャに基づくエンコーダデコーダネットワークを提案し、合成データのみを学習する。
  論文  参考訳（メタデータ） (2021-04-28T11:31:35Z)
• Do 2D GANs Know 3D Shape? Unsupervised 3D shape reconstruction from 2D Image GANs [156.1209884183522]
  GANのような最先端の2D生成モデルは、自然像多様体のモデリングにおいて前例のない品質を示している。 本稿では,RGB画像のみをトレーニングした市販の2D GANから3次元幾何学的手がかりを直接マイニングする試みについて紹介する。
  論文  参考訳（メタデータ） (2020-11-02T09:38:43Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)
• Learning Complete 3D Morphable Face Models from Images and Videos [88.34033810328201]
  本稿では,画像やビデオから顔形状,アルベド,表現の完全な3次元モデルを学ぶための最初のアプローチを提案する。 既存の手法よりも,学習モデルの方がより一般化し,高品質な画像ベース再構築につながることを示す。
  論文  参考訳（メタデータ） (2020-10-04T20:51:23Z)
• Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction [32.14605731030579]
  単一のRGB画像からの3D再構成は、コンピュータビジョンにおいて難しい問題である。 従来の手法は通常データ駆動であり、不正確な3次元形状の復元と限定的な一般化能力をもたらす。 本稿では,人造物体によく見られる反射対称性の鏡面を初めて検出し,その対称性の画素内対応を見いだして深度マップを予測する。
  論文  参考訳（メタデータ） (2020-06-17T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。