論文の概要: AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer Learning

• arxiv url: http://arxiv.org/abs/2303.14297v1
• Date: Fri, 24 Mar 2023 23:04:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 20:46:00.572099
• Title: AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer Learning
• Title（参考訳）: agilegan3d: 拡張トランスファー学習による3dポートレートスタイライゼーション
• Authors: Guoxian Song and Hongyi Xu and Jing Liu and Tiancheng Zhi and Yichun Shi and Jianfeng Zhang and Zihang Jiang and Jiashi Feng and Shen Sang and Linjie Luo
• Abstract要約: 本稿では,3次元芸術的に魅力的な肖像画を詳細な幾何学で作成できる新しいフレームワークであるemphAgileGAN3Dを提案する。 新しいスタイリゼーションは、わずか (約20) の未完成の2D例で得られる。 われわれのパイプラインは、ユーザの写真を多様な3Dアートのポートレートに変える強力な能力を示している。
• 参考スコア（独自算出の注目度）: 80.67196184480754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While substantial progresses have been made in automated 2D portrait stylization, admirable 3D portrait stylization from a single user photo remains to be an unresolved challenge. One primary obstacle here is the lack of high quality stylized 3D training data. In this paper, we propose a novel framework \emph{AgileGAN3D} that can produce 3D artistically appealing and personalized portraits with detailed geometry. New stylization can be obtained with just a few (around 20) unpaired 2D exemplars. We achieve this by first leveraging existing 2D stylization capabilities, \emph{style prior creation}, to produce a large amount of augmented 2D style exemplars. These augmented exemplars are generated with accurate camera pose labels, as well as paired real face images, which prove to be critical for the downstream 3D stylization task. Capitalizing on the recent advancement of 3D-aware GAN models, we perform \emph{guided transfer learning} on a pretrained 3D GAN generator to produce multi-view-consistent stylized renderings. In order to achieve 3D GAN inversion that can preserve subject's identity well, we incorporate \emph{multi-view consistency loss} in the training of our encoder. Our pipeline demonstrates strong capability in turning user photos into a diverse range of 3D artistic portraits. Both qualitative results and quantitative evaluations have been conducted to show the superior performance of our method. Code and pretrained models will be released for reproduction purpose.
• Abstract（参考訳）: 自動2Dポートレートのスタイリングは大幅に進歩しているが、単一のユーザー写真から3Dポートレートのスタイリングは未解決の課題だ。 ここでの大きな障害は、高品質な3Dトレーニングデータがないことだ。 本稿では,3d芸術的およびパーソナライズされたポートレートを詳細な形状で生成できる,新しい枠組みである \emph{agilegan3d} を提案する。 新しいスタイリゼーションは、わずか (約20) の未完成の2D例で得られる。 まず、既存の2Dスタイル化機能である「emph{style pre creation}」を活用して、大量の拡張された2Dスタイルの例を生成する。 これらの拡張された例は、正確なカメラポーズラベルと、下流の3Dスタイリングタスクにとって重要なペアリングされた実顔画像で生成される。 近年の 3D 対応 GAN モデルの発展により,事前学習した 3D GAN ジェネレータ上で \emph{guided transfer learning} を実行し,マルチビュー一貫性のスタイリングレンダリングを生成する。 被験者の身元をよく保持できる3D GANインバージョンを実現するために,エンコーダのトレーニングに 'emph{multi-view consistency loss' を組み込む。 われわれのパイプラインは、ユーザー写真を多様な3dアートポートレートに変換する強力な能力を示している。 本手法の優れた性能を示すために,質的結果と定量的評価を行った。 コードとトレーニング済みのモデルは、再現目的でリリースされる予定だ。

関連論文リスト

• AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections [78.81539337399391]
  顔の表情, 頭部ポーズ, 肩の動きを制御可能なポートレート画像を生成するアニマタブルな3D認識型GANを提案する。 これは、3Dやビデオデータを使用しない非構造化2次元画像コレクションで訓練された生成モデルである。 生成した顔の質を向上させるために,デュアルカメラレンダリングと対角学習方式を提案する。
  論文  参考訳（メタデータ） (2023-09-05T12:44:57Z)
• Freestyle 3D-Aware Portrait Synthesis Based on Compositional Generative Priors [12.663585627797863]
  テキスト駆動型3D画像合成フレームワークを提案する。 具体的には、ポートレートスタイルのプロンプトに対して、3D対応のGANジェネレータとテキストガイド画像エディタを合成する。 そして、このセットの特殊スタイル領域を提案した3D潜在特徴生成器にマッピングし、与えられたスタイル情報を含む3D表現を得る。
  論文  参考訳（メタデータ） (2023-06-27T12:23:04Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation [51.64832538714455]
  既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
  論文  参考訳（メタデータ） (2023-02-14T06:28:42Z)
• 3DAvatarGAN: Bridging Domains for Personalized Editable Avatars [75.31960120109106]
  3D-GANは、一貫した構造を持つ大規模データセットのトレーニングにより、幾何学とテクスチャを合成する。 本稿では,ソースドメインが事前訓練された3D-GANであり,ターゲットドメインが2D-GANである適応フレームワークを提案する。 本稿では,芸術領域の誇張された幾何学をモデル化するための変形に基づく手法について述べる。
  論文  参考訳（メタデータ） (2023-01-06T19:58:47Z)
• Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
  我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。 本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
  論文  参考訳（メタデータ） (2020-11-26T05:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。