論文の概要: GGHead: Fast and Generalizable 3D Gaussian Heads

• arxiv url: http://arxiv.org/abs/2406.09377v2
• Date: Tue, 24 Sep 2024 14:48:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 01:33:31.283127
• Title: GGHead: Fast and Generalizable 3D Gaussian Heads
• Title（参考訳）: GGHead:高速で一般化可能な3Dガウシアンヘッド
• Authors: Tobias Kirschstein, Simon Giebenhain, Jiapeng Tang, Markos Georgopoulos, Matthias Nießner,
• Abstract要約: 3D GANは、比較的遅い列車とレンダリング速度のために、高解像度でサンプルを生成するのに苦労しています。 本稿では、3次元GANフレームワーク内での最近の3次元ガウススプラッティング表現を取り入れた生成ガウスヘッド(GGHead)を提案する。 高品質な3Dコンセントヘッドのリアルタイム生成とレンダリングを初めて10242ドルで実証した。
• 参考スコア（独自算出の注目度）: 48.967905053963385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning 3D head priors from large 2D image collections is an important step towards high-quality 3D-aware human modeling. A core requirement is an efficient architecture that scales well to large-scale datasets and large image resolutions. Unfortunately, existing 3D GANs struggle to scale to generate samples at high resolutions due to their relatively slow train and render speeds, and typically have to rely on 2D superresolution networks at the expense of global 3D consistency. To address these challenges, we propose Generative Gaussian Heads (GGHead), which adopts the recent 3D Gaussian Splatting representation within a 3D GAN framework. To generate a 3D representation, we employ a powerful 2D CNN generator to predict Gaussian attributes in the UV space of a template head mesh. This way, GGHead exploits the regularity of the template's UV layout, substantially facilitating the challenging task of predicting an unstructured set of 3D Gaussians. We further improve the geometric fidelity of the generated 3D representations with a novel total variation loss on rendered UV coordinates. Intuitively, this regularization encourages that neighboring rendered pixels should stem from neighboring Gaussians in the template's UV space. Taken together, our pipeline can efficiently generate 3D heads trained only from single-view 2D image observations. Our proposed framework matches the quality of existing 3D head GANs on FFHQ while being both substantially faster and fully 3D consistent. As a result, we demonstrate real-time generation and rendering of high-quality 3D-consistent heads at $1024^2$ resolution for the first time. Project Website: https://tobias-kirschstein.github.io/gghead
• Abstract（参考訳）: 大規模な2次元画像コレクションから3次元頭部前兆を学習することは、高品質な3D認識人間モデリングへの重要なステップである。 コア要件は、大規模なデータセットと大規模な画像解像度に十分対応可能な、効率的なアーキテクチャである。 残念ながら、既存の3D GANは、比較的遅い列車とレンダリング速度のために、高解像度でサンプルを生成するのに苦労しており、通常はグローバルな3D一貫性を犠牲にして2D超解像ネットワークに頼る必要がある。 これらの課題に対処するため、我々はGGHead(Generative Gaussian Heads)を提案し、3D GANフレームワーク内での最近の3D Gaussian Splatting表現を採用する。 3D表現を生成するために,テンプレートヘッドメッシュのUV空間におけるガウス特性を予測するために,強力な2D CNNジェネレータを用いる。 このようにして、GGHeadはテンプレートのUVレイアウトの規則性を利用して、非構造化の3Dガウスの集合を予測するという困難な作業を大幅に促進する。 さらに、描画されたUV座標に対する新しい総変分損失を伴って、生成した3次元表現の幾何学的忠実度を向上する。 直感的には、この正規化はテンプレートのUV空間内の隣接するガウスから隣接するレンダリングピクセルが派生することを奨励する。 私たちのパイプラインは、単一のビュー2D画像観察からのみ訓練された3Dヘッドを効率よく生成できる。 提案するフレームワークは,FFHQ上の既存の3DヘッドGANの品質に匹敵するが,ほぼ高速かつ完全3D一貫性を有する。 その結果,高品質な3Dコンセントヘッドのリアルタイム生成とレンダリングを初めて1024^2$で実証した。 プロジェクトウェブサイト:https://tobias-kirschstein.github.io/gghead

関連論文リスト

• GSD: View-Guided Gaussian Splatting Diffusion for 3D Reconstruction [52.04103235260539]
  単一視点からの3次元オブジェクト再構成のためのガウススプティング表現に基づく拡散モデル手法を提案する。 モデルはGS楕円体の集合で表される3Dオブジェクトを生成することを学習する。 最終的な再構成されたオブジェクトは、高品質な3D構造とテクスチャを持ち、任意のビューで効率的にレンダリングできる。
  論文  参考訳（メタデータ） (2024-07-05T03:43:08Z)
• DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
  テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。 我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。 単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-06T17:58:15Z)
• Gaussian Splatting Decoder for 3D-aware Generative Adversarial Networks [10.207899254360374]
  NeRFをベースとしたGAN(Generative Adversarial Networks)は非常に高いレンダリング品質を示す。 Neural Radiance Fieldsによるレンダリングは、3Dアプリケーションに課題をもたらす。 我々は、NeRFベースの3D対応GANの高レンダリング品質と3DGSの柔軟性と計算上の利点を組み合わせた新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-16T14:48:40Z)
• AGG: Amortized Generative 3D Gaussians for Single Image to 3D [108.38567665695027]
  Amortized Generative 3D Gaussian framework (AGG) を導入する。 AGGは、共同最適化のための3Dガウス位置およびその他の外観特性の生成を分解する。 本稿では,まず3次元データの粗い表現を生成し,後に3次元ガウス超解像モジュールでアップサンプリングするカスケードパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-01-08T18:56:33Z)
• GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models [102.22388340738536]
  2Dおよび3D拡散モデルは、プロンプトに基づいて適切な3Dオブジェクトを生成することができる。 3次元拡散モデルには優れた3次元整合性があるが、トレーニング可能な3次元データは高価で入手が難しいため、その品質と一般化は制限されている。 本稿では,2種類の拡散モデルから近年の明示的かつ効率的な3次元ガウススプラッティング表現を通じて電力を橋渡ししようとする。
  論文  参考訳（メタデータ） (2023-10-12T17:22:24Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds [28.660893916203747]
  本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。 私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。 FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
  論文  参考訳（メタデータ） (2022-06-15T02:35:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。