論文の概要: CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis

• arxiv url: http://arxiv.org/abs/2110.09788v1
• Date: Tue, 19 Oct 2021 08:02:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 14:37:50.653976
• Title: CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis
• Title（参考訳）: CIPS-3D:条件非依存の画素合成に基づくGANの3次元認識ジェネレータ
• Authors: Peng Zhou, Lingxi Xie, Bingbing Ni, Qi Tian
• Abstract要約: 本稿では,浅いNeRFネットワークと深い暗黙のニューラル表現ネットワークからなるスタイルベースの3D対応ジェネレータであるCIPS-3Dを提案する。 ジェネレータは、空間畳み込みやアップサンプリング操作をすることなく、各画素値を独立して合成する。 FFHQの256times256$解像度で、画像のFIDが6.97で3D対応画像合成の新記録を樹立した。
• 参考スコア（独自算出の注目度）: 148.4104739574094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The style-based GAN (StyleGAN) architecture achieved state-of-the-art results for generating high-quality images, but it lacks explicit and precise control over camera poses. The recently proposed NeRF-based GANs made great progress towards 3D-aware generators, but they are unable to generate high-quality images yet. This paper presents CIPS-3D, a style-based, 3D-aware generator that is composed of a shallow NeRF network and a deep implicit neural representation (INR) network. The generator synthesizes each pixel value independently without any spatial convolution or upsampling operation. In addition, we diagnose the problem of mirror symmetry that implies a suboptimal solution and solve it by introducing an auxiliary discriminator. Trained on raw, single-view images, CIPS-3D sets new records for 3D-aware image synthesis with an impressive FID of 6.97 for images at the $256\times256$ resolution on FFHQ. We also demonstrate several interesting directions for CIPS-3D such as transfer learning and 3D-aware face stylization. The synthesis results are best viewed as videos, so we recommend the readers to check our github project at https://github.com/PeterouZh/CIPS-3D
• Abstract（参考訳）: スタイルベースのGAN(StyleGAN)アーキテクチャは、高品質な画像を生成するための最先端の結果を得たが、カメラのポーズを明確かつ正確に制御することができない。 最近提案されたNeRFベースのGANは、3D対応ジェネレータに大きく進歩したが、高品質な画像を生成することはできなかった。 本稿では,浅いNeRFネットワークと深い暗黙的ニューラル表現(INR)ネットワークからなるスタイルベースの3D対応ジェネレータであるCIPS-3Dを提案する。 生成器は、空間畳み込みやアップサンプリング操作なしに、各画素値を独立に合成する。 さらに,準最適解を示唆する鏡面対称性の問題を診断し,補助判別器を導入することで解決する。 cips-3dは生のシングルビュー画像で訓練され、ffhqの256\times256$の解像度で6.97の印象的なfidで3d認識画像合成の新しい記録を樹立した。 また, CIPS-3Dでは, 転送学習や3次元顔のスタイリングなど, 興味深い方向を示す。 合成結果はビデオとして最もよく見られているので、読者はgithubプロジェクトのhttps://github.com/PeterouZh/CIPS-3Dでチェックすることをお勧めします。

関連論文リスト

• IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality 3D Generation [96.32684334038278]
  本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。 画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。 IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
  論文  参考訳（メタデータ） (2024-02-13T18:59:51Z)
• Free3D: Consistent Novel View Synthesis without 3D Representation [63.931920010054064]
  Free3Dは単分子開集合新規ビュー合成(NVS)の簡易的高精度な方法である 同様のアプローチを採った他の作品と比較して,明快な3D表現に頼らずに大幅な改善が得られた。
  論文  参考訳（メタデータ） (2023-12-07T18:59:18Z)
• WildFusion: Learning 3D-Aware Latent Diffusion Models in View Space [77.92350895927922]
  潜在拡散モデル(LDM)に基づく3次元画像合成の新しいアプローチであるWildFusionを提案する。 我々の3D対応LCMは、マルチビュー画像や3D幾何学を直接監督することなく訓練されている。 これにより、スケーラブルな3D認識画像合成と、Wild画像データから3Dコンテンツを作成するための有望な研究道が開かれる。
  論文  参考訳（メタデータ） (2023-11-22T18:25:51Z)
• Mimic3D: Thriving 3D-Aware GANs via 3D-to-2D Imitation [29.959223778769513]
  本稿では,3D-to-2Dの模倣という新たな学習手法を提案する。 また、3D表現学習を改善するために、ジェネレータに3D対応の畳み込みを導入する。 その結果,FFHQとAFHQ-v2のFIDスコアは512×512でそれぞれ5.4点,AFHQ-v2 Catsでは4.3点に達した。
  論文  参考訳（メタデータ） (2023-03-16T02:18:41Z)
• Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator [68.0533826852601]
  3Dを意識した画像合成は、画像のリアルな2D画像の描画が可能な生成モデルを学ぶことを目的としている。 既存の方法では、適度な3D形状が得られない。 本稿では,3次元GANの改良を目的とした幾何学的識別器を提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:37Z)
• EpiGRAF: Rethinking training of 3D GANs [60.38818140637367]
  本稿では,SotA画像品質の高い高解像度3Dジェネレータを,パッチワイズを単純に訓練するまったく異なる経路を辿ることによって実現可能であることを示す。 EpiGRAFと呼ばれる結果のモデルは、効率的で高解像度で純粋な3Dジェネレータである。
  論文  参考訳（メタデータ） (2022-06-21T17:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。