論文の概要: Learning Full-Head 3D GANs from a Single-View Portrait Dataset
- arxiv url: http://arxiv.org/abs/2307.14770v1
- Date: Thu, 27 Jul 2023 11:02:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-28 14:51:52.172613
- Title: Learning Full-Head 3D GANs from a Single-View Portrait Dataset
- Title（参考訳）: シングルビューポートレートデータセットからフルヘッド3D GANを学習する
- Authors: Yiqian Wu, Hao Xu, Xiangjun Tang, Hongbo Fu, Xiaogang Jin
- Abstract要約: 33D対応のフェイスジェネレータは、2Dのリアルタイム顔画像データセットで一般的に訓練されている。
そこで,本研究では,本手法を用いて3次元アバター分布を学習する3次元フルヘッド・ポートレート・ジェネレータのtextit3DGANを提案する。
本モデルでは,全カメラアングルからフルヘッドの3D画像で画像を生成することができる。
- 参考スコア（独自算出の注目度）: 33.42003803632352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 33D-aware face generators are commonly trained on 2D real-life face image
datasets. Nevertheless, existing facial recognition methods often struggle to
extract face data captured from various camera angles. Furthermore, in-the-wild
images with diverse body poses introduce a high-dimensional challenge for
3D-aware generators, making it difficult to utilize data that contains complete
neck and shoulder regions. Consequently, these face image datasets often
contain only near-frontal face data, which poses challenges for 3D-aware face
generators to construct \textit{full-head} 3D portraits. To this end, we first
create the dataset {$\it{360}^{\circ}$}-\textit{Portrait}-\textit{HQ}
(\textit{$\it{360}^{\circ}$PHQ}), which consists of high-quality single-view
real portraits annotated with a variety of camera parameters {(the yaw angles
span the entire $360^{\circ}$ range)} and body poses. We then propose
\textit{3DPortraitGAN}, the first 3D-aware full-head portrait generator that
learns a canonical 3D avatar distribution from the body-pose-various
\textit{$\it{360}^{\circ}$PHQ} dataset with body pose self-learning. Our model
can generate view-consistent portrait images from all camera angles
(${360}^{\circ}$) with a full-head 3D representation. We incorporate a
mesh-guided deformation field into volumetric rendering to produce deformed
results to generate portrait images that conform to the body pose distribution
of the dataset using our canonical generator. We integrate two pose predictors
into our framework to predict more accurate body poses to address the issue of
inaccurately estimated body poses in our dataset. Our experiments show that the
proposed framework can generate view-consistent, realistic portrait images with
complete geometry from all camera angles and accurately predict portrait body
pose.
- Abstract（参考訳）: 33d対応の顔生成器は、一般的に2d実生活の顔画像データセットで訓練される。
それでも、既存の顔認識手法は、さまざまなカメラアングルから取得した顔データを抽出するのに苦労することが多い。
さらに,身体に多様なポーズを呈する眼内画像は,3D認識ジェネレータの高次元的課題をもたらすため,完全な首と肩領域を含むデータの利用が困難である。
したがって、これらの顔画像データセットは、しばしば正面近傍の顔データしか含まないため、3D対応の顔生成装置が \textit{full-head} 3D のポートレートを構築するのが困難である。
この目的のために、まずデータセット {$\it{360}^{\circ}$}-\textit{Portrait}-\textit{HQ} (\textit{$\it{360}^{\circ}$PHQ}) を作成する。
次に,ボディーポーズの自己学習を伴うボディー・ポジショニングによるボディー・ポジブルな\textit{$\it{360}^{\circ}$phq}データセットから正準3dアバター分布を学習する最初の3d対応フルヘッド・ポートレート生成器である \textit{3dportraitgan} を提案する。
本モデルでは,全カメラアングル({360}^{\circ}$)からフルヘッドの3D表現で画像を生成することができる。
メッシュ誘導変形場をボリュームレンダリングに組み込んで変形結果を生成し,本方式のカノニカルジェネレータを用いて,データセットのボディポーズ分布に適合したポートレート画像を生成する。
2つのポーズ予測器をフレームワークに統合し、より正確なボディポーズを予測し、データセットにおける不正確なボディポーズの問題に対処する。
提案手法は,全カメラアングルから完全形状のポートレート画像を生成し,正確なポートレートボディポーズを予測できることを示す。
関連論文リスト
- AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image
Collections [78.81539337399391]
顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。
これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。
生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
論文 参考訳（メタデータ） (2023-09-05T12:44:57Z) - VirtualPose: Learning Generalizable 3D Human Pose Models from Virtual
Data [69.64723752430244]
このタスクに特有の隠れた「フリーランチ」を活用するための2段階学習フレームワークであるVirtualPoseを紹介する。
1段目は画像を抽象幾何学表現(AGR)に変換し、2段目はそれらを3Dポーズにマッピングする。
1)第1段は多様な2次元データセットでトレーニングし、限られた外観への過度な適合のリスクを軽減し、2)多数の仮想カメラとポーズから合成された多様なAGRでトレーニングすることができる。
論文 参考訳（メタデータ） (2022-07-20T14:47:28Z) - VoxelTrack: Multi-Person 3D Human Pose Estimation and Tracking in the
Wild [98.69191256693703]
本稿では,VoxelTrackを用いて,多人数の3次元ポーズ推定と,広義のベースラインで分離された少数のカメラからの追跡を行う。
マルチブランチネットワークを使用して、環境中のすべての人に3Dポーズと再識別機能(Re-ID)を共同で推定する。
これは、Shelf、Campus、CMU Panopticの3つの公開データセットに対して、最先端の手法よりも大きなマージンで優れている。
論文 参考訳（メタデータ） (2021-08-05T08:35:44Z) - SVMA: A GAN-based model for Monocular 3D Human Pose Estimation [0.8379286663107844]
1枚の画像から抽出した2次元関節位置から3次元人間のポーズを復元するための教師なしGANモデルを提案する。
再投射制約を考慮すると,本モデルはカメラを推定し,推定された3次元ポーズを元の2次元ポーズに再投射することができる。
Human3.6Mの結果,本手法は最先端の手法を全て上回り,MPI-INF-3DHPの手法は最先端の手法を約15.0%上回ることがわかった。
論文 参考訳（メタデータ） (2021-06-10T09:43:57Z) - Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。
まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。
我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
論文 参考訳（メタデータ） (2020-10-09T06:11:17Z) - Deep 3D Portrait from a Single Image [54.634207317528364]
1枚の肖像画から人間の頭部の3次元形状を復元するための学習に基づくアプローチを提案する。
顔画像から3次元頭部再構成を学習するための2段階の幾何学的学習手法を提案する。
提案手法の精度を3次元画像と2次元画像のポーズ操作の両方で評価した。
論文 参考訳（メタデータ） (2020-04-24T08:55:37Z) - Towards Generalization of 3D Human Pose Estimation In The Wild [73.19542580408971]
3DBodyTex.Poseは、3Dの人間のポーズ推定のタスクに対処するデータセットである。
3DBodyTex.Poseは、さまざまな衣服やポーズで405種類の実際の被写体を含む高品質でリッチなデータを提供する。
論文 参考訳（メタデータ） (2020-04-21T13:31:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。