論文の概要: Freestyle 3D-Aware Portrait Synthesis Based on Compositional Generative Priors

• arxiv url: http://arxiv.org/abs/2306.15419v3
• Date: Sun, 24 Dec 2023 08:35:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 22:35:00.200572
• Title: Freestyle 3D-Aware Portrait Synthesis Based on Compositional Generative Priors
• Title（参考訳）: 合成前処理に基づくフリースタイル3dアウェアポートレート合成
• Authors: Tianxiang Ma, Kang Zhao, Jianxin Sun, Yingya Zhang, Jing Dong
• Abstract要約: テキスト駆動型3D画像合成フレームワークを提案する。 具体的には、ポートレートスタイルのプロンプトに対して、3D対応のGANジェネレータとテキストガイド画像エディタを合成する。 そして、このセットの特殊スタイル領域を提案した3D潜在特徴生成器にマッピングし、与えられたスタイル情報を含む3D表現を得る。
• 参考スコア（独自算出の注目度）: 12.663585627797863
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently generating a freestyle 3D portrait with high quality and 3D-consistency is a promising yet challenging task. The portrait styles generated by most existing methods are usually restricted by their 3D generators, which are learned in specific facial datasets, such as FFHQ. To get the diverse 3D portraits, one can build a large-scale multi-style database to retrain a 3D-aware generator, or use a off-the-shelf tool to do the style translation. However, the former is time-consuming due to data collection and training process, the latter may destroy the multi-view consistency. To tackle this problem, we propose a novel text-driven 3D-aware portrait synthesis framework that can generate out-of-distribution portrait styles. Specifically, for a given portrait style prompt, we first composite two generative priors, a 3D-aware GAN generator and a text-guided image editor, to quickly construct a few-shot stylized portrait set. Then we map the special style domain of this set to our proposed 3D latent feature generator and obtain a 3D representation containing the given style information. Finally we use a pre-trained 3D renderer to generate view-consistent stylized portraits from the 3D representation. Extensive experimental results show that our method is capable of synthesizing high-quality 3D portraits with specified styles in a few minutes, outperforming the state-of-the-art.
• Abstract（参考訳）: 高品質で3D一貫性のあるフリースタイルの3Dポートレートを効率的に作成することは、有望だが難しい課題だ。 既存のほとんどのメソッドで生成されるポートレートスタイルは通常、FFHQのような特定の顔データセットで学習される3Dジェネレータによって制限される。 多様な3Dポートレートを得るためには、大規模なマルチスタイルデータベースを構築して、3D認識ジェネレータをリトレーニングしたり、オフザシェルフツールを使ってスタイル翻訳を行うことができる。 しかし、データ収集とトレーニングプロセスのために前者は時間がかかり、後者はマルチビューの一貫性を損なう可能性がある。 そこで本研究では,テキスト駆動型3dポートレート合成フレームワークを提案する。 具体的には、3d対応のganジェネレータとテキストガイド付き画像エディタの2つの生成前処理を合成し、数ショットのスタイリッシュなポートレートセットを迅速に構築する。 そして、このセットの特殊スタイル領域を提案した3D潜在特徴生成器にマッピングし、与えられたスタイル情報を含む3D表現を得る。 最後に、トレーニング済みの3dレンダラを使用して、3d表現からビュー一貫性のあるスタイリッシュなポートレートを生成します。 実験結果から,高品位な3D肖像画を数分で合成でき,最先端の3D画像よりも優れていた。

関連論文リスト

• Portrait3D: Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior [21.18119394249007]
  テキスト・ツー・3D画像生成に先立って,新しい幾何学的外観を持つニューラルレンダリングに基づく新しいフレームワークであるPortrait3Dを提案する。 実験の結果,Portrait3Dはプロンプトに合わせたリアルで高品質で標準的な3D肖像画を制作できることがわかった。
  論文  参考訳（メタデータ） (2024-04-16T08:52:42Z)
• RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion [39.03289977892935]
  RealmDreamerはテキスト記述から一般的な前方向きの3Dシーンを生成する技術である。 我々の技術はビデオやマルチビューのデータを必要とせず、様々なスタイルの高品質な3Dシーンを合成することができる。
  論文  参考訳（メタデータ） (2024-04-10T17:57:41Z)
• Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
  本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。 3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
  論文  参考訳（メタデータ） (2024-04-02T11:03:24Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• AgileGAN3D: Few-Shot 3D Portrait Stylization by Augmented Transfer Learning [80.67196184480754]
  本稿では,3次元芸術的に魅力的な肖像画を詳細な幾何学で作成できる新しいフレームワークであるemphAgileGAN3Dを提案する。 新しいスタイリゼーションは、わずか (約20) の未完成の2D例で得られる。 われわれのパイプラインは、ユーザの写真を多様な3Dアートのポートレートに変える強力な能力を示している。
  論文  参考訳（メタデータ） (2023-03-24T23:04:20Z)
• CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
  本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。 合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:59:02Z)
• Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation [51.64832538714455]
  既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
  論文  参考訳（メタデータ） (2023-02-14T06:28:42Z)
• PV3D: A 3D Generative Model for Portrait Video Generation [94.96025739097922]
  我々は,多視点一貫した肖像画を合成できる最初の生成フレームワークであるPV3Dを提案する。 PV3Dは、静的ポートレートのアニメーションやビュー一貫性のあるビデオモーション編集など、多くのダウンストリームアプリケーションをサポートすることができる。
  論文  参考訳（メタデータ） (2022-12-13T05:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。