論文の概要: CGS-GAN: 3D Consistent Gaussian Splatting GANs for High Resolution Human Head Synthesis

• arxiv url: http://arxiv.org/abs/2505.17590v1
• Date: Fri, 23 May 2025 07:56:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.907765
• Title: CGS-GAN: 3D Consistent Gaussian Splatting GANs for High Resolution Human Head Synthesis
• Title（参考訳）: CGS-GAN:高分解能人頭合成のための3次元ガウススプラッティングガン
• Authors: Florian Barthel, Wieland Morgenstern, Paul Hinzer, Anna Hilsmann, Peter Eisert,
• Abstract要約: 3次元ガウススプラッティングに基づく3次元GANは、人間の頭部の高品質な合成のために提案されている。 既存の方法は、現在のカメラ位置でランダム潜伏ベクトルを条件にすることにより、トレーニングを安定させ、急な視点からレンダリング品質を向上させる。 ビューコンディショニングを必要とせずに、安定した訓練と高品質な頭部合成を可能にする新しい3DガウススプラッティングGANフレームワークであるCGS-GANを紹介する。
• 参考スコア（独自算出の注目度）: 10.207899254360374
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, 3D GANs based on 3D Gaussian splatting have been proposed for high quality synthesis of human heads. However, existing methods stabilize training and enhance rendering quality from steep viewpoints by conditioning the random latent vector on the current camera position. This compromises 3D consistency, as we observe significant identity changes when re-synthesizing the 3D head with each camera shift. Conversely, fixing the camera to a single viewpoint yields high-quality renderings for that perspective but results in poor performance for novel views. Removing view-conditioning typically destabilizes GAN training, often causing the training to collapse. In response to these challenges, we introduce CGS-GAN, a novel 3D Gaussian Splatting GAN framework that enables stable training and high-quality 3D-consistent synthesis of human heads without relying on view-conditioning. To ensure training stability, we introduce a multi-view regularization technique that enhances generator convergence with minimal computational overhead. Additionally, we adapt the conditional loss used in existing 3D Gaussian splatting GANs and propose a generator architecture designed to not only stabilize training but also facilitate efficient rendering and straightforward scaling, enabling output resolutions up to $2048^2$. To evaluate the capabilities of CGS-GAN, we curate a new dataset derived from FFHQ. This dataset enables very high resolutions, focuses on larger portions of the human head, reduces view-dependent artifacts for improved 3D consistency, and excludes images where subjects are obscured by hands or other objects. As a result, our approach achieves very high rendering quality, supported by competitive FID scores, while ensuring consistent 3D scene generation. Check our our project page here: https://fraunhoferhhi.github.io/cgs-gan/
• Abstract（参考訳）: 近年, 頭部の高品質な合成法として, 3次元ガウススプラッティングに基づく3D GANが提案されている。 しかし、既存の手法では、現在のカメラ位置でランダム潜伏ベクトルを条件にすることにより、トレーニングを安定させ、急な視点からレンダリング品質を向上させる。 これにより、カメラシフト毎に3Dヘッドを再合成する際に、重要なアイデンティティの変化が観察されるため、3D一貫性が損なわれる。 逆に、カメラを一つの視点に固定すると、その視点では高品質なレンダリングが得られるが、新しい視点では性能が低下する。 ビューコンディショニングの除去は、通常、GANトレーニングを不安定にし、しばしばトレーニングが崩壊する。 これらの課題に対応するため、我々は、ビューコンディショニングを必要とせずに、安定したトレーニングと高品質な3D一貫性合成を可能にする、3Dガウス・スティングGANフレームワークであるCGS-GANを紹介した。 トレーニングの安定性を確保するため、最小の計算オーバーヘッドでジェネレータ収束を向上するマルチビュー正規化手法を導入する。 さらに,既存の3次元ガウス平滑化GANの条件付き損失を適応させ,トレーニングの安定化だけでなく,効率的なレンダリングと簡単なスケーリングを容易にし,最大2048^2$の出力解像度を実現するジェネレータアーキテクチャを提案する。 CGS-GANの能力を評価するため、FFHQから派生した新しいデータセットをキュレートする。 このデータセットは、非常に高解像度を実現し、人間の頭の大部分に集中し、3D一貫性を改善するためにビュー依存のアーティファクトを削減し、被写体が手や他の物体によって隠蔽されている画像を排除する。 その結果,本手法は,一貫した3次元シーン生成を確保しつつ,競合するFIDスコアに支えられ,非常に高いレンダリング品質を実現する。 プロジェクトページはこちら。 https://fraunhoferhhi.github.io/cgs-gan/

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• 3D-Consistent Human Avatars with Sparse Inputs via Gaussian Splatting and Contrastive Learning [19.763523500564542]
  CHASEはスパース入力のみを使用して高密度なインプットレベルのパフォーマンスを実現する新しいフレームワークである。 トレーニングセットからの類似のポーズを活用することにより,変形したガウスを洗練する動的アバター調整(DAA)モジュールを導入する。 スパース入力用に設計されているが、CHASEはZJU-MoCapとH36Mデータセットのフル設定とスパース設定の両方で最先端のメソッドを超越している。
  論文  参考訳（メタデータ） (2024-08-19T02:46:23Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• PUP 3D-GS: Principled Uncertainty Pruning for 3D Gaussian Splatting [59.277480452459315]
  本研究では,視覚的忠実度と前景の細部を高い圧縮比で保持する原理的感度プルーニングスコアを提案する。 また,トレーニングパイプラインを変更することなく,事前訓練した任意の3D-GSモデルに適用可能な複数ラウンドプルーファインパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-06-14T17:53:55Z)
• DOGS: Distributed-Oriented Gaussian Splatting for Large-Scale 3D Reconstruction Via Gaussian Consensus [56.45194233357833]
  3DGSを分散訓練するDoGaussianを提案する。 大規模シーンで評価すると,3DGSのトレーニングを6回以上高速化する。
  論文  参考訳（メタデータ） (2024-05-22T19:17:58Z)
• Spec-Gaussian: Anisotropic View-Dependent Appearance for 3D Gaussian Splatting [55.71424195454963]
  Spec-Gaussian は球面調和の代わりに異方性球面ガウス場を利用するアプローチである。 実験結果から,本手法はレンダリング品質の面で既存の手法を超越していることが示された。 この改良は、3D GSの適用性を高めて、特異面と異方面の複雑なシナリオを扱う。
  論文  参考訳（メタデータ） (2024-02-24T17:22:15Z)
• Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos [33.779636707618785]
  我々はRig3DGSを導入し、カジュアルなスマートフォンビデオからコントロール可能な3D人間の肖像画を作成する。 鍵となる革新は、慎重に設計された変形法であり、3次元形態素モデルから派生した学習可能な先行モデルによって導かれる。 定量的および定性的な実験によって学習した変形の有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-06T05:40:53Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。