論文の概要: 3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis

• arxiv url: http://arxiv.org/abs/2401.03764v1
• Date: Mon, 8 Jan 2024 09:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-09 17:13:04.203412
• Title: 3D-SSGAN: Lifting 2D Semantics for 3D-Aware Compositional Portrait Synthesis
• Title（参考訳）: 3D-SSGAN: 3D-Aware 合成のための2Dセマンティクスのリフティング
• Authors: Ruiqi Liu, Peng Zheng, Ye Wang, Rui Ma
• Abstract要約: 既存の3D対応のポートレート合成手法は、強い3D一貫性を維持しながら、印象的な高品質な画像を生成することができる。 3D-SSGANは3次元合成画像合成のための新しいフレームワークである。
• 参考スコア（独自算出の注目度）: 11.457566989721078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing 3D-aware portrait synthesis methods can generate impressive high-quality images while preserving strong 3D consistency. However, most of them cannot support the fine-grained part-level control over synthesized images. Conversely, some GAN-based 2D portrait synthesis methods can achieve clear disentanglement of facial regions, but they cannot preserve view consistency due to a lack of 3D modeling abilities. To address these issues, we propose 3D-SSGAN, a novel framework for 3D-aware compositional portrait image synthesis. First, a simple yet effective depth-guided 2D-to-3D lifting module maps the generated 2D part features and semantics to 3D. Then, a volume renderer with a novel 3D-aware semantic mask renderer is utilized to produce the composed face features and corresponding masks. The whole framework is trained end-to-end by discriminating between real and synthesized 2D images and their semantic masks. Quantitative and qualitative evaluations demonstrate the superiority of 3D-SSGAN in controllable part-level synthesis while preserving 3D view consistency.
• Abstract（参考訳）: 既存の3D対応のポートレート合成手法は、強い3D一貫性を維持しながら、印象的な高品質な画像を生成することができる。 しかし、そのほとんどは、合成画像に対するきめ細かい部分レベルの制御をサポートできない。 逆に、GANをベースとした2D画像合成手法では、顔領域の明確なゆがみを実現することができるが、3Dモデリング能力の欠如により、視界の一貫性を維持することはできない。 これらの問題に対処するため,我々は3d認識合成のための新しい枠組みである3d-ssganを提案する。 まず、単純だが効果的な2D-to-3Dリフトモジュールが生成された2D部分の特徴とセマンティクスを3Dにマッピングする。 そして、新規な3D対応セマンティックマスクレンダラーを備えたボリュームレンダラーを用いて、合成顔特徴および対応するマスクを生成する。 フレームワーク全体は、実画像と合成された2d画像とそれらのセマンティックマスクを区別することで、エンドツーエンドでトレーニングされる。 定量的および定性的な評価は、3次元ビューの一貫性を維持しながら制御可能な部分レベル合成における3D-SSGANの優位性を示す。

関連論文リスト

• CC3D: Layout-Conditioned Generation of Compositional 3D Scenes [49.281006972028194]
  本稿では,複雑な3次元シーンを2次元セマンティックなシーンレイアウトで合成する条件生成モデルであるCC3Dを紹介する。 合成3D-FRONTと実世界のKITTI-360データセットに対する評価は、我々のモデルが視覚的および幾何学的品質を改善したシーンを生成することを示す。
  論文  参考訳（メタデータ） (2023-03-21T17:59:02Z)
• Mimic3D: Thriving 3D-Aware GANs via 3D-to-2D Imitation [29.959223778769513]
  本稿では,3D-to-2Dの模倣という新たな学習手法を提案する。 また、3D表現学習を改善するために、ジェネレータに3D対応の畳み込みを導入する。 その結果,FFHQとAFHQ-v2のFIDスコアは512×512でそれぞれ5.4点,AFHQ-v2 Catsでは4.3点に達した。
  論文  参考訳（メタデータ） (2023-03-16T02:18:41Z)
• CGOF++: Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [52.14985242487535]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成操作場(cGOF++)であり、それによって生成された顔の形状が与えられた3Dモルファブルモデル(3DMM)メッシュに適合するように効果的に強制される。 提案手法の有効性を検証し, 最先端の2次元顔合成法よりも高精度な3次元制御性を示す実験を行った。
  論文  参考訳（メタデータ） (2022-11-23T19:02:50Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• Controllable 3D Face Synthesis with Conditional Generative Occupancy Fields [40.2714783162419]
  生成した顔画像の3次元制御性を実現する条件付き3次元顔合成フレームワークを提案する。 中心となるのは条件付き生成活動場(cGOF)で、生成された顔の形状を効果的に強制し、与えられた3Dモルファブルモデル(3DMM)メッシュにコミットする。 実験により,高忠実度顔画像の生成が可能な提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2022-06-16T17:58:42Z)
• Realistic Image Synthesis with Configurable 3D Scene Layouts [59.872657806747576]
  本稿では,3次元シーンレイアウトに基づくリアルな画像合成手法を提案する。 提案手法では, セマンティッククラスラベルを入力として3Dシーンを抽出し, 3Dシーンの描画ネットワークを訓練する。 訓練された絵画ネットワークにより、入力された3Dシーンのリアルな外観の画像を描画し、操作することができる。
  論文  参考訳（メタデータ） (2021-08-23T09:44:56Z)
• STS-GAN: Can We Synthesize Solid Texture with High Fidelity from Arbitrary 2D Exemplar? [20.58364192180389]
  任意の3次元立体テクスチャに拡張するために,新たに生成した逆向きネットベースフレームワーク(STS-GAN)を提案する。 STS-GANにおいて、マルチスケール2次元テクスチャ識別器は、3次元テクスチャから得られた2次元の例とスライスとの類似性を評価し、現実的な立体テクスチャを合成する3次元テクスチャ生成装置を推進した。
  論文  参考訳（メタデータ） (2021-02-08T02:51:34Z)
• Lifting 2D StyleGAN for 3D-Aware Face Generation [52.8152883980813]
  我々は,3次元顔生成のための事前学習済みのStyleGAN2を切断し,持ち上げるLiftedGANというフレームワークを提案する。 本モデルは,(1)StyleGAN2の潜伏空間をテクスチャ,形状,視点,照明に分解し,(2)合成画像のための3D成分を生成することができるという意味で「3D認識」である。
  論文  参考訳（メタデータ） (2020-11-26T05:02:09Z)
• Towards Realistic 3D Embedding via View Alignment [53.89445873577063]
  本稿では,3次元モデルを2次元背景画像に現実的に,かつ自動的に埋め込み,新たな画像を構成する,革新的なビューアライメントGAN(VA-GAN)を提案する。 VA-GANはテクスチャジェネレータとディファレンシャルディスクリミネーターで構成され、相互接続され、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2020-07-14T14:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。