論文の概要: CGS-GAN: 3D Consistent Gaussian Splatting GANs for High Resolution Human Head Synthesis

• arxiv url: http://arxiv.org/abs/2505.17590v1
• Date: Fri, 23 May 2025 07:56:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.907765
• Title: CGS-GAN: 3D Consistent Gaussian Splatting GANs for High Resolution Human Head Synthesis
• Title（参考訳）: CGS-GAN:高分解能人頭合成のための3次元ガウススプラッティングガン
• Authors: Florian Barthel, Wieland Morgenstern, Paul Hinzer, Anna Hilsmann, Peter Eisert,
• Abstract要約: 3次元ガウススプラッティングに基づく3次元GANは、人間の頭部の高品質な合成のために提案されている。 既存の方法は、現在のカメラ位置でランダム潜伏ベクトルを条件にすることにより、トレーニングを安定させ、急な視点からレンダリング品質を向上させる。 ビューコンディショニングを必要とせずに、安定した訓練と高品質な頭部合成を可能にする新しい3DガウススプラッティングGANフレームワークであるCGS-GANを紹介する。
• 参考スコア（独自算出の注目度）: 10.207899254360374
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recently, 3D GANs based on 3D Gaussian splatting have been proposed for high quality synthesis of human heads. However, existing methods stabilize training and enhance rendering quality from steep viewpoints by conditioning the random latent vector on the current camera position. This compromises 3D consistency, as we observe significant identity changes when re-synthesizing the 3D head with each camera shift. Conversely, fixing the camera to a single viewpoint yields high-quality renderings for that perspective but results in poor performance for novel views. Removing view-conditioning typically destabilizes GAN training, often causing the training to collapse. In response to these challenges, we introduce CGS-GAN, a novel 3D Gaussian Splatting GAN framework that enables stable training and high-quality 3D-consistent synthesis of human heads without relying on view-conditioning. To ensure training stability, we introduce a multi-view regularization technique that enhances generator convergence with minimal computational overhead. Additionally, we adapt the conditional loss used in existing 3D Gaussian splatting GANs and propose a generator architecture designed to not only stabilize training but also facilitate efficient rendering and straightforward scaling, enabling output resolutions up to $2048^2$. To evaluate the capabilities of CGS-GAN, we curate a new dataset derived from FFHQ. This dataset enables very high resolutions, focuses on larger portions of the human head, reduces view-dependent artifacts for improved 3D consistency, and excludes images where subjects are obscured by hands or other objects. As a result, our approach achieves very high rendering quality, supported by competitive FID scores, while ensuring consistent 3D scene generation. Check our our project page here: https://fraunhoferhhi.github.io/cgs-gan/
• Abstract（参考訳）: 近年, 頭部の高品質な合成法として, 3次元ガウススプラッティングに基づく3D GANが提案されている。 しかし、既存の手法では、現在のカメラ位置でランダム潜伏ベクトルを条件にすることにより、トレーニングを安定させ、急な視点からレンダリング品質を向上させる。 これにより、カメラシフト毎に3Dヘッドを再合成する際に、重要なアイデンティティの変化が観察されるため、3D一貫性が損なわれる。 逆に、カメラを一つの視点に固定すると、その視点では高品質なレンダリングが得られるが、新しい視点では性能が低下する。 ビューコンディショニングの除去は、通常、GANトレーニングを不安定にし、しばしばトレーニングが崩壊する。 これらの課題に対応するため、我々は、ビューコンディショニングを必要とせずに、安定したトレーニングと高品質な3D一貫性合成を可能にする、3Dガウス・スティングGANフレームワークであるCGS-GANを紹介した。 トレーニングの安定性を確保するため、最小の計算オーバーヘッドでジェネレータ収束を向上するマルチビュー正規化手法を導入する。 さらに,既存の3次元ガウス平滑化GANの条件付き損失を適応させ,トレーニングの安定化だけでなく,効率的なレンダリングと簡単なスケーリングを容易にし,最大2048^2$の出力解像度を実現するジェネレータアーキテクチャを提案する。 CGS-GANの能力を評価するため、FFHQから派生した新しいデータセットをキュレートする。 このデータセットは、非常に高解像度を実現し、人間の頭の大部分に集中し、3D一貫性を改善するためにビュー依存のアーティファクトを削減し、被写体が手や他の物体によって隠蔽されている画像を排除する。 その結果,本手法は,一貫した3次元シーン生成を確保しつつ,競合するFIDスコアに支えられ,非常に高いレンダリング品質を実現する。 プロジェクトページはこちら。 https://fraunhoferhhi.github.io/cgs-gan/

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• 3D-Consistent Human Avatars with Sparse Inputs via Gaussian Splatting and Contrastive Learning [19.763523500564542]
  CHASEはスパース入力のみを使用して高密度なインプットレベルのパフォーマンスを実現する新しいフレームワークである。 トレーニングセットからの類似のポーズを活用することにより,変形したガウスを洗練する動的アバター調整(DAA)モジュールを導入する。 スパース入力用に設計されているが、CHASEはZJU-MoCapとH36Mデータセットのフル設定とスパース設定の両方で最先端のメソッドを超越している。
  論文  参考訳（メタデータ） (2024-08-19T02:46:23Z)
• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• DOGS: Distributed-Oriented Gaussian Splatting for Large-Scale 3D Reconstruction Via Gaussian Consensus [56.45194233357833]
  3DGSを分散訓練するDoGaussianを提案する。 大規模シーンで評価すると,3DGSのトレーニングを6回以上高速化する。
  論文  参考訳（メタデータ） (2024-05-22T19:17:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。