論文の概要: GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar

• arxiv url: http://arxiv.org/abs/2311.13655v1
• Date: Wed, 22 Nov 2023 19:13:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 01:35:40.407888
• Title: GAN-Avatar: Controllable Personalized GAN-based Human Head Avatar
• Title（参考訳）: GAN-Avatar: パーソナライズ可能なGANベースの人頭アバター
• Authors: Berna Kabadayi, Wojciech Zielonka, Bharat Lal Bhatnagar, Gerard Pons-Moll, Justus Thies
• Abstract要約: そこで本稿では,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルなアバターを学習することを提案する。 3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。
• 参考スコア（独自算出の注目度）: 48.21353924040671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Digital humans and, especially, 3D facial avatars have raised a lot of attention in the past years, as they are the backbone of several applications like immersive telepresence in AR or VR. Despite the progress, facial avatars reconstructed from commodity hardware are incomplete and miss out on parts of the side and back of the head, severely limiting the usability of the avatar. This limitation in prior work stems from their requirement of face tracking, which fails for profile and back views. To address this issue, we propose to learn person-specific animatable avatars from images without assuming to have access to precise facial expression tracking. At the core of our method, we leverage a 3D-aware generative model that is trained to reproduce the distribution of facial expressions from the training data. To train this appearance model, we only assume to have a collection of 2D images with the corresponding camera parameters. For controlling the model, we learn a mapping from 3DMM facial expression parameters to the latent space of the generative model. This mapping can be learned by sampling the latent space of the appearance model and reconstructing the facial parameters from a normalized frontal view, where facial expression estimation performs well. With this scheme, we decouple 3D appearance reconstruction and animation control to achieve high fidelity in image synthesis. In a series of experiments, we compare our proposed technique to state-of-the-art monocular methods and show superior quality while not requiring expression tracking of the training data.
• Abstract（参考訳）: デジタル人間、特に3D顔アバターは、ARやVRにおける没入型テレプレゼンスのようないくつかのアプリケーションのバックボーンであるため、ここ数年で多くの注目を集めている。 進歩にもかかわらず、コモディティなハードウェアから再構築された顔のアバターは不完全であり、頭の一部と背面に欠落しており、アバターの使いやすさを厳しく制限している。 事前作業におけるこの制限は、プロファイルとバックビューで失敗する顔追跡の必要性に起因する。 この問題に対処するために,顔表情の正確な追跡を行うことなく,画像から人固有のアニマタブルアバターを学習することを提案する。 本手法の核となるのは,訓練データから表情の分布を再現する訓練を行う3D認識生成モデルである。 この外観モデルを訓練するには、対応するカメラパラメータを持つ2次元画像の集合のみを仮定する。 モデルを制御するために、3DMMの表情パラメータから生成モデルの潜在空間へのマッピングを学習する。 このマッピングは、表情モデルの潜在空間をサンプリングし、表情推定がうまく機能する正規化前頭視点から顔パラメータを再構成することで学習することができる。 この方式により、3次元の外観再構成とアニメーション制御を分離し、画像合成における高忠実度を実現する。 一連の実験において,提案手法を最先端単分子法と比較し,トレーニングデータの表現追跡を必要とせず,優れた品質を示す。

関連論文リスト

• FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
  ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。 我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
  論文  参考訳（メタデータ） (2024-09-20T03:17:01Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• SPARK: Self-supervised Personalized Real-time Monocular Face Capture [6.093606972415841]
  現在の最先端技術では、パラメトリックな3D顔モデルを幅広いアイデンティティにわたってリアルタイムに再現することができる。 本稿では,被写体の制約のない映像を先行情報として活用し,高精度な3次元顔撮影手法を提案する。
  論文  参考訳（メタデータ） (2024-09-12T12:30:04Z)
• DEGAS: Detailed Expressions on Full-Body Gaussian Avatars [13.683836322899953]
  顔表情の豊かなフルボディアバターに対する3次元ガウススティング(3DGS)に基づくモデリング手法であるDEGASを提案する。 本稿では,2次元の顔と3次元のアバターのギャップを埋めて,2次元の肖像画にのみ訓練された潜在空間を採用することを提案する。
  論文  参考訳（メタデータ） (2024-08-20T06:52:03Z)
• HINT: Learning Complete Human Neural Representations from Limited Viewpoints [69.76947323932107]
  我々は、限られた視野角から詳細な人間のモデルを学習できるNeRFベースのアルゴリズムを提案する。 その結果,数個の視角からでも完全な人間の再構築が可能となり,性能は15%以上向上した。
  論文  参考訳（メタデータ） (2024-05-30T05:43:09Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• High-fidelity Facial Avatar Reconstruction from Monocular Video with Generative Priors [29.293166730794606]
  そこで本研究では,3次元認識による顔アバターの再構成手法を提案する。 既存の作品と比較すると、優れた新規ビュー合成結果と忠実に再現性能が得られる。
  論文  参考訳（メタデータ） (2022-11-28T04:49:46Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。