論文の概要: GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds

• arxiv url: http://arxiv.org/abs/2206.07255v2
• Date: Wed, 11 Oct 2023 08:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 22:51:30.596351
• Title: GRAM-HD: 3D-Consistent Image Generation at High Resolution with Generative Radiance Manifolds
• Title（参考訳）: GRAM-HD: 生成放射マニフォールドを用いた高分解能3次元画像生成
• Authors: Jianfeng Xiang, Jiaolong Yang, Yu Deng, Xin Tong
• Abstract要約: 本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。 私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。 FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 28.660893916203747
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works have shown that 3D-aware GANs trained on unstructured single image collections can generate multiview images of novel instances. The key underpinnings to achieve this are a 3D radiance field generator and a volume rendering process. However, existing methods either cannot generate high-resolution images (e.g., up to 256X256) due to the high computation cost of neural volume rendering, or rely on 2D CNNs for image-space upsampling which jeopardizes the 3D consistency across different views. This paper proposes a novel 3D-aware GAN that can generate high resolution images (up to 1024X1024) while keeping strict 3D consistency as in volume rendering. Our motivation is to achieve super-resolution directly in the 3D space to preserve 3D consistency. We avoid the otherwise prohibitively-expensive computation cost by applying 2D convolutions on a set of 2D radiance manifolds defined in the recent generative radiance manifold (GRAM) approach, and apply dedicated loss functions for effective GAN training at high resolution. Experiments on FFHQ and AFHQv2 datasets show that our method can produce high-quality 3D-consistent results that significantly outperform existing methods. It makes a significant step towards closing the gap between traditional 2D image generation and 3D-consistent free-view generation.
• Abstract（参考訳）: 近年の研究では、構造化されていない単一画像コレクションで訓練された3次元GANが、新規なインスタンスのマルチビュー画像を生成することが示されている。 これを実現するための鍵となる基盤は、3次元放射フィールドジェネレータとボリュームレンダリングプロセスである。 しかし、既存の手法では、ニューラルボリュームレンダリングの計算コストが高いため、高解像度の画像(例えば256X256)を生成できないか、異なるビューで3D一貫性を損なうイメージ空間のアップサンプリングに2D CNNに依存するかのいずれかである。 本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。 私たちのモチベーションは、3d空間で直接超解像を達成し、3dの一貫性を保つことです。 我々は、最近の生成放射率多様体(GRAM)アプローチで定義された2次元放射率多様体の集合に2次元畳み込みを適用し、高分解能なGAN訓練に専用損失関数を適用することで、従来より厳しい計算コストを回避する。 FFHQとAFHQv2データセットを用いた実験により,既存の手法よりも優れた高品質な3D一貫性のある結果が得られることが示された。 従来の2D画像生成と3D一貫性のあるフリービュー生成のギャップを埋めるための大きな一歩だ。

関連論文リスト

• IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality 3D Generation [96.32684334038278]
  本稿では,テキスト・ツー・3Dモデルの設計空間について検討する。 画像生成装置の代わりに映像を考慮し、マルチビュー生成を大幅に改善する。 IM-3Dは,2次元ジェネレータネットワーク10-100xの評価回数を削減する。
  論文  参考訳（メタデータ） (2024-02-13T18:59:51Z)
• What You See is What You GAN: Rendering Every Pixel for High-Fidelity Geometry in 3D GANs [82.3936309001633]
  3D-aware Generative Adversarial Networks (GANs) は,マルチビュー一貫性画像と3Dジオメトリを生成する学習において,顕著な進歩を見せている。 しかし、ボリュームレンダリングにおける高密度サンプリングの大幅なメモリと計算コストにより、3D GANはパッチベースのトレーニングを採用するか、後処理の2Dスーパーレゾリューションで低解像度レンダリングを採用することを余儀なくされた。 ニューラルボリュームレンダリングをネイティブ2次元画像の高解像度化に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:50:38Z)
• HoloFusion: Towards Photo-realistic 3D Generative Modeling [77.03830223281787]
  拡散に基づく画像生成装置は、高品質で多様なサンプルを作成できるようになったが、その成功はまだ3D生成に完全に変換されていない。 提案するHoloFusionは,高忠実度,高可塑性,多種多様な3Dサンプルを作成するために,これらのアプローチを最大限に組み合わせた手法である。
  論文  参考訳（メタデータ） (2023-08-28T01:19:33Z)
• Magic123: One Image to High-Quality 3D Object Generation Using Both 2D and 3D Diffusion Priors [104.79392615848109]
  Magic123は、高品質でテクスチャ化された3Dメッシュのための、2段階の粗大なアプローチである。 最初の段階では、粗い幾何学を生成するために、神経放射場を最適化する。 第2段階では、視覚的に魅力的なテクスチャを持つ高分解能メッシュを生成するために、メモリ効率のよい微分可能なメッシュ表現を採用する。
  論文  参考訳（メタデータ） (2023-06-30T17:59:08Z)
• GVP: Generative Volumetric Primitives [76.95231302205235]
  本稿では,512解像度画像をリアルタイムにサンプリング・レンダリングできる最初の純3次元生成モデルである生成ボリュームプリミティブ(GVP)を提案する。 GVPは、複数のプリミティブとその空間情報を共同でモデル化し、どちらも2D畳み込みネットワークを介して効率的に生成することができる。 いくつかのデータセットの実験は、最先端技術よりも優れた効率性とGVPの3次元一貫性を示す。
  論文  参考訳（メタデータ） (2023-03-31T16:50:23Z)
• Mimic3D: Thriving 3D-Aware GANs via 3D-to-2D Imitation [29.959223778769513]
  本稿では,3D-to-2Dの模倣という新たな学習手法を提案する。 また、3D表現学習を改善するために、ジェネレータに3D対応の畳み込みを導入する。 その結果,FFHQとAFHQ-v2のFIDスコアは512×512でそれぞれ5.4点,AFHQ-v2 Catsでは4.3点に達した。
  論文  参考訳（メタデータ） (2023-03-16T02:18:41Z)
• XDGAN: Multi-Modal 3D Shape Generation in 2D Space [60.46777591995821]
  本稿では,3次元形状をコンパクトな1チャネル幾何画像に変換し,StyleGAN3と画像間翻訳ネットワークを利用して2次元空間で3次元オブジェクトを生成する手法を提案する。 生成された幾何学画像は素早く3Dメッシュに変換し、リアルタイムな3Dオブジェクト合成、可視化、インタラクティブな編集を可能にする。 近年の3次元生成モデルと比較して,より高速かつ柔軟な3次元形状生成,単一ビュー再構成,形状操作などの様々なタスクにおいて,本手法が有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-06T15:54:01Z)
• GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation [25.20217335614512]
  3D対応画像生成モデリングは、カメラポーズを明示的に制御可能な3D一貫性画像を生成することを目的としている。 近年の研究では、非構造2次元画像上でのニューラル放射場(NeRF)ジェネレータのトレーニングによる有望な結果が示されている。
  論文  参考訳（メタデータ） (2021-12-16T13:25:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。