論文の概要: What You See is What You GAN: Rendering Every Pixel for High-Fidelity
Geometry in 3D GANs
- arxiv url: http://arxiv.org/abs/2401.02411v1
- Date: Thu, 4 Jan 2024 18:50:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-05 14:21:58.328105
- Title: What You See is What You GAN: Rendering Every Pixel for High-Fidelity
Geometry in 3D GANs
- Title（参考訳）: 3D GANで全てのピクセルを高密度でレンダリングする「GAN」
- Authors: Alex Trevithick, Matthew Chan, Towaki Takikawa, Umar Iqbal, Shalini De
Mello, Manmohan Chandraker, Ravi Ramamoorthi, Koki Nagano
- Abstract要約: 3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。
しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。
ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
- 参考スコア（独自算出の注目度）: 82.3936309001633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D-aware Generative Adversarial Networks (GANs) have shown remarkable
progress in learning to generate multi-view-consistent images and 3D geometries
of scenes from collections of 2D images via neural volume rendering. Yet, the
significant memory and computational costs of dense sampling in volume
rendering have forced 3D GANs to adopt patch-based training or employ
low-resolution rendering with post-processing 2D super resolution, which
sacrifices multiview consistency and the quality of resolved geometry.
Consequently, 3D GANs have not yet been able to fully resolve the rich 3D
geometry present in 2D images. In this work, we propose techniques to scale
neural volume rendering to the much higher resolution of native 2D images,
thereby resolving fine-grained 3D geometry with unprecedented detail. Our
approach employs learning-based samplers for accelerating neural rendering for
3D GAN training using up to 5 times fewer depth samples. This enables us to
explicitly "render every pixel" of the full-resolution image during training
and inference without post-processing superresolution in 2D. Together with our
strategy to learn high-quality surface geometry, our method synthesizes
high-resolution 3D geometry and strictly view-consistent images while
maintaining image quality on par with baselines relying on post-processing
super resolution. We demonstrate state-of-the-art 3D gemetric quality on FFHQ
and AFHQ, setting a new standard for unsupervised learning of 3D shapes in 3D
GANs.
- Abstract（参考訳）: 3D-Aware Generative Adversarial Networks (GANs) は、ニューラルボリュームレンダリングによる2D画像のコレクションから複数ビュー一貫性のある画像と3Dジオメトリを生成するための学習の著しい進歩を示している。
しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパー解像度で低解像度レンダリングを採用することを余儀なくされた。
そのため、3D GANは2D画像に存在するリッチな3D幾何学を完全に解けていない。
そこで本研究では,より高解像度なネイティブ2次元画像に対して,ニューラルボリュームレンダリングをスケールさせる手法を提案する。
提案手法では,最大5倍の深度サンプルを用いた3D GANトレーニングにおいて,ニューラルネットワークの高速化に学習ベースのサンプルを用いる。
これにより、2Dで超解像を後処理することなく、トレーニングや推論中に全解像度画像の「各ピクセル」を明示的にレンダリングできる。
高品質表面形状を学習する戦略と合わせて,高分解能3次元形状と厳密なビュー一貫性像を合成し,処理後の超解像度に依存するベースラインと同等の画質を維持する。
我々はFFHQとAFHQで最先端の3D幾何学的品質を示し、3D GANにおける3D形状の教師なし学習のための新しい標準を設定した。
関連論文リスト
- Enhancing Single Image to 3D Generation using Gaussian Splatting and Hybrid Diffusion Priors [17.544733016978928]
単一の画像から3Dオブジェクトを生成するには、野生で撮影された未ポーズのRGB画像から、目に見えない景色の完全な3D形状とテクスチャを推定する必要がある。
3次元オブジェクト生成の最近の進歩は、物体の形状とテクスチャを再構築する技術を導入している。
本稿では, この限界に対応するために, 2次元拡散モデルと3次元拡散モデルとのギャップを埋めることを提案する。
論文 参考訳（メタデータ） (2024-10-12T10:14:11Z) - Hi3D: Pursuing High-Resolution Image-to-3D Generation with Video Diffusion Models [112.2625368640425]
High- resolution Image-to-3D model (Hi3D) はビデオ拡散に基づく新しいパラダイムであり、単一の画像を3D対応シーケンシャル画像生成としてマルチビュー画像に再定義する。
Hi3Dは事前に学習した映像拡散モデルを3D対応で強化し、低解像度のテクスチャディテールを持つマルチビュー画像を生成する。
論文 参考訳（メタデータ） (2024-09-11T17:58:57Z) - GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。
アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
論文 参考訳（メタデータ） (2023-10-04T10:30:24Z) - Mimic3D: Thriving 3D-Aware GANs via 3D-to-2D Imitation [29.959223778769513]
本稿では,3D-to-2Dの模倣という新たな学習手法を提案する。
また、3D表現学習を改善するために、ジェネレータに3D対応の畳み込みを導入する。
その結果,FFHQとAFHQ-v2のFIDスコアは512×512でそれぞれ5.4点,AFHQ-v2 Catsでは4.3点に達した。
論文 参考訳（メタデータ） (2023-03-16T02:18:41Z) - Self-Supervised Geometry-Aware Encoder for Style-Based 3D GAN Inversion [115.82306502822412]
StyleGANは、画像インバージョンと潜時編集による2次元顔再構成とセマンティック編集において大きな進歩を遂げている。
対応する汎用的な3D GANインバージョンフレームワークがまだ欠けており、3D顔再構成とセマンティック編集の応用が制限されている。
本研究では,その3次元形状と詳細なテクスチャを忠実に復元するために,単一の顔画像から潜伏コードを予測する3D GAN逆変換の課題について検討する。
論文 参考訳（メタデータ） (2022-12-14T18:49:50Z) - XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。
生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。
近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
論文 参考訳（メタデータ） (2022-10-06T15:54:01Z) - GRAM-HD: 3D-Consistent Image Generation at High Resolution with
Generative Radiance Manifolds [28.660893916203747]
本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。
私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。
FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
論文 参考訳（メタデータ） (2022-06-15T02:35:51Z) - StyleSDF: High-Resolution 3D-Consistent Image and Geometry Generation [34.01352591390208]
本稿では,高分解能3次元画像と形状生成技術を導入し,StyleSDFと呼ぶ。
本手法は, 単視点RGBデータのみをトレーニングし, 画像生成のためのStyleGAN2の肩の上に立つ。
論文 参考訳（メタデータ） (2021-12-21T18:45:45Z) - Efficient Geometry-aware 3D Generative Adversarial Networks [50.68436093869381]
既存の3D GANは計算集約的であるか、3D一貫性のない近似を行う。
本研究では、3D GANの計算効率と画質をこれらの近似に頼らずに改善する。
本稿では,高解像度のマルチビュー一貫性画像だけでなく,高品質な3次元形状をリアルタイムに合成する,表現型ハイブリッド・明示型ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-12-15T08:01:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。