論文の概要: 3DPortraitGAN: Learning One-Quarter Headshot 3D GANs from a Single-View Portrait Dataset with Diverse Body Poses

• arxiv url: http://arxiv.org/abs/2307.14770v2
• Date: Mon, 21 Aug 2023 06:35:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 22:47:58.804664
• Title: 3DPortraitGAN: Learning One-Quarter Headshot 3D GANs from a Single-View Portrait Dataset with Diverse Body Poses
• Title（参考訳）: 3DPortraitGAN: シングルビュー・ポートレート・データセットから1Qヘッドショット3D GANを学習
• Authors: Yiqian Wu, Hao Xu, Xiangjun Tang, Hongbo Fu, Xiaogang Jin
• Abstract要約: 3DGANは,360degPHQデータセットから3Dアバター分布を学習し,ボディポーズの自己学習を行う最初の3D対応ヘッドショット・ポートレート・ジェネレータである。 本モデルでは、全カメラアングルから4分の1のヘッドショット3D表現を用いて、ビュー一貫性のあるポートレート画像を生成することができる。
• 参考スコア（独自算出の注目度）: 30.35004252053614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D-aware face generators are typically trained on 2D real-life face image datasets that primarily consist of near-frontal face data, and as such, they are unable to construct one-quarter headshot 3D portraits with complete head, neck, and shoulder geometry. Two reasons account for this issue: First, existing facial recognition methods struggle with extracting facial data captured from large camera angles or back views. Second, it is challenging to learn a distribution of 3D portraits covering the one-quarter headshot region from single-view data due to significant geometric deformation caused by diverse body poses. To this end, we first create the dataset 360{\deg}-Portrait-HQ (360{\deg}PHQ for short) which consists of high-quality single-view real portraits annotated with a variety of camera parameters (the yaw angles span the entire 360{\deg} range) and body poses. We then propose 3DPortraitGAN, the first 3D-aware one-quarter headshot portrait generator that learns a canonical 3D avatar distribution from the 360{\deg}PHQ dataset with body pose self-learning. Our model can generate view-consistent portrait images from all camera angles with a canonical one-quarter headshot 3D representation. Our experiments show that the proposed framework can accurately predict portrait body poses and generate view-consistent, realistic portrait images with complete geometry from all camera angles.
• Abstract（参考訳）: 3d対応顔画像生成装置は、主に正面に近い顔データからなる2d実生活用顔画像データセットで訓練されているため、頭部、首、肩の形状を完備した1/4の3dポートレートを構築することができない。 まず、既存の顔認識手法では、大きなカメラアングルやバックビューから捉えた顔データを抽出するのに苦労しています。 第2に,身体の多様なポーズによる幾何学的変形により,単眼データから1/4の頭部領域を覆う3次元ポートレートの分布を知ることが困難である。 この目的のために、まず、360{\deg}-Portrait-HQ (略して360{\deg}PHQ) というデータセットを作成し、それは、様々なカメラパラメータ(360{\deg}の範囲全体にわたるヨーアングル)とボディポーズを付加した高品質のシングルビューリアルポートレートからなる。 次に,3DPortraitGANを提案する。この3DPortraitGANは,360{\deg}PHQデータセットから3Dアバター分布を学習し,ボディポーズの自己学習を行う。 本モデルでは、全カメラアングルから4分の1のヘッドショット3D表現でビュー一貫性のポートレート画像を生成することができる。 提案手法は,全カメラアングルから完全形状のポートレート画像を正確に予測し,ビュー一貫性のあるリアルなポートレート画像を生成することができることを示す。

関連論文リスト

• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• VirtualPose: Learning Generalizable 3D Human Pose Models from Virtual Data [69.64723752430244]
  このタスクに特有の隠れた「フリーランチ」を活用するための2段階学習フレームワークであるVirtualPoseを紹介する。 1段目は画像を抽象幾何学表現(AGR)に変換し、2段目はそれらを3Dポーズにマッピングする。 1)第1段は多様な2次元データセットでトレーニングし、限られた外観への過度な適合のリスクを軽減し、2)多数の仮想カメラとポーズから合成された多様なAGRでトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-07-20T14:47:28Z)
• VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the Wild [98.69191256693703]
  本稿では,VoxelTrackを用いて,多人数の3次元ポーズ推定と,広義のベースラインで分離された少数のカメラからの追跡を行う。 マルチブランチネットワークを使用して、環境中のすべての人に3Dポーズと再識別機能(Re-ID)を共同で推定する。 これは、Shelf、Campus、CMU Panopticの3つの公開データセットに対して、最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2021-08-05T08:35:44Z)
• SVMA: A GAN-based model for Monocular 3D Human Pose Estimation [0.8379286663107844]
  1枚の画像から抽出した2次元関節位置から3次元人間のポーズを復元するための教師なしGANモデルを提案する。 再投射制約を考慮すると,本モデルはカメラを推定し,推定された3次元ポーズを元の2次元ポーズに再投射することができる。 Human3.6Mの結果,本手法は最先端の手法を全て上回り,MPI-INF-3DHPの手法は最先端の手法を約15.0%上回ることがわかった。
  論文  参考訳（メタデータ） (2021-06-10T09:43:57Z)
• Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
  ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。 まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。 我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
  論文  参考訳（メタデータ） (2020-10-09T06:11:17Z)
• Deep 3D Portrait from a Single Image [54.634207317528364]
  1枚の肖像画から人間の頭部の3次元形状を復元するための学習に基づくアプローチを提案する。 顔画像から3次元頭部再構成を学習するための2段階の幾何学的学習手法を提案する。 提案手法の精度を3次元画像と2次元画像のポーズ操作の両方で評価した。
  論文  参考訳（メタデータ） (2020-04-24T08:55:37Z)
• Towards Generalization of 3D Human Pose Estimation In The Wild [73.19542580408971]
  3DBodyTex.Poseは、3Dの人間のポーズ推定のタスクに対処するデータセットである。 3DBodyTex.Poseは、さまざまな衣服やポーズで405種類の実際の被写体を含む高品質でリッチなデータを提供する。
  論文  参考訳（メタデータ） (2020-04-21T13:31:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。