論文の概要: AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections

• arxiv url: http://arxiv.org/abs/2309.02186v1
• Date: Tue, 5 Sep 2023 12:44:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 14:55:40.943296
• Title: AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections
• Title（参考訳）: AniPortraitGAN:2D画像からのアニメーション3D画像生成
• Authors: Yue Wu, Sicheng Xu, Jianfeng Xiang, Fangyun Wei, Qifeng Chen, Jiaolong Yang, Xin Tong
• Abstract要約: 顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
• 参考スコア（独自算出の注目度）: 78.81539337399391
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous animatable 3D-aware GANs for human generation have primarily focused on either the human head or full body. However, head-only videos are relatively uncommon in real life, and full body generation typically does not deal with facial expression control and still has challenges in generating high-quality results. Towards applicable video avatars, we present an animatable 3D-aware GAN that generates portrait images with controllable facial expression, head pose, and shoulder movements. It is a generative model trained on unstructured 2D image collections without using 3D or video data. For the new task, we base our method on the generative radiance manifold representation and equip it with learnable facial and head-shoulder deformations. A dual-camera rendering and adversarial learning scheme is proposed to improve the quality of the generated faces, which is critical for portrait images. A pose deformation processing network is developed to generate plausible deformations for challenging regions such as long hair. Experiments show that our method, trained on unstructured 2D images, can generate diverse and high-quality 3D portraits with desired control over different properties.
• Abstract（参考訳）: 従来のアニメーション可能な3D対応のGANは、主に人間の頭と全身に焦点を合わせてきた。 しかし、ヘッドオンリーのビデオは実生活ではごく稀であり、フルボディ生成は通常表情制御には対応せず、高品質な結果を生み出す上でも課題がある。 適切なビデオアバターに向けて, 顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成する, アニメーション可能な3d認識ganを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 新たな課題として, 生成的放射多様体表現を基礎とし, 学習可能な顔および頭部ショルダー変形を具備する。 ポートレート画像にとって重要な生成顔の品質を向上させるために,デュアルカメラレンダリングと逆学習方式を提案する。 長髪などの挑戦領域に対する可塑性変形を生成するために、ポーズ変形処理網を開発する。 実験により,非構造な2d画像を用いた学習により,様々な特性を所望の制御で多様で高品質な3dポートレートを生成できることが確認された。

関連論文リスト

• XAGen: 3D Expressive Human Avatars Generation [76.69560679209171]
  XAGenは人体、顔、手を表現的に制御できる人間のアバターのための最初の3D生成モデルである。 身体, 顔, 手の合成を両立させる多部レンダリング手法を提案する。 実験によると、XAGenは現実主義、多様性、表現力のある制御能力の点で最先端の手法を超越している。
  論文  参考訳（メタデータ） (2023-11-22T18:30:42Z)
• Articulated 3D Head Avatar Generation using Text-to-Image Diffusion Models [107.84324544272481]
  多様な頭部アバターを合成する能力は、拡張現実、撮影、教育など、多くの応用に不可欠である。 テキスト誘導型3Dオブジェクト生成に関する最近の研究は、これらのニーズに対処する上で大きな可能性を秘めている。 拡散に基づく頭部アバターは,この課題に対する最先端のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-10T19:15:32Z)
• AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
  本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。 本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。 提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
  論文  参考訳（メタデータ） (2023-05-03T17:56:24Z)
• PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360$^{\circ}$ [17.355141949293852]
  3次元頭部合成のための既存の3次元生成対向ネットワーク(GAN)は、正面近傍のビューに限られるか、大きなビュー角で3次元の一貫性を維持するのが困難である。 パノヘッド(PanoHead)は、360ドル(約3万3000円)で高画質のフルヘッド画像合成を可能にする最初の3D認識生成モデルである。
  論文  参考訳（メタデータ） (2023-03-23T06:54:34Z)
• AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars [71.00322191446203]
  2D生成モデルは、異なるカメラ視点で画像をレンダリングする際に、しばしば望ましくないアーティファクトに悩まされる。 近年,3次元シーン表現を活用することで,3次元カメラポーズのゆがみを明示するために2次元GANを拡張している。 マルチビュー一貫した顔アニメーション生成のためのアニマタブルな3D対応GANを提案する。
  論文  参考訳（メタデータ） (2022-10-12T17:59:56Z)
• Explicitly Controllable 3D-Aware Portrait Generation [42.30481422714532]
  ポーズ,アイデンティティ,表現,照明に関する意味的パラメータに基づいて,一貫した肖像画を生成する3次元肖像画生成ネットワークを提案する。 提案手法は,自然光の鮮明な表現によるリアルな肖像画を,自由視点で見る場合,先行技術よりも優れる。
  論文  参考訳（メタデータ） (2022-09-12T17:40:08Z)
• Generative Neural Articulated Radiance Fields [104.9224190002448]
  我々は,人間の身体の放射界を標準的なポーズで生成し,明示的な変形場を用いて所望の身体のポーズや表情にワープする3D GANフレームワークを開発した。 変形認識訓練はポーズや表情を編集する際の身体や顔の質を著しく向上させる。
  論文  参考訳（メタデータ） (2022-06-28T22:49:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。