論文の概要: GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation
- arxiv url: http://arxiv.org/abs/2112.08867v2
- Date: Fri, 17 Dec 2021 07:50:09 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-20 11:42:23.357252
- Title: GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation
- Title（参考訳）: GRAM:3次元画像生成のための生成放射マニフォールド
- Authors: Yu Deng, Jiaolong Yang, Jianfeng Xiang, Xin Tong
- Abstract要約: 3D対応画像生成モデリングは、カメラポーズを明示的に制御可能な3D一貫性画像を生成することを目的としている。
近年の研究では、非構造2次元画像上でのニューラル放射場(NeRF)ジェネレータのトレーニングによる有望な結果が示されている。
- 参考スコア（独自算出の注目度）: 25.20217335614512
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D-aware image generative modeling aims to generate 3D-consistent images with
explicitly controllable camera poses. Recent works have shown promising results
by training neural radiance field (NeRF) generators on unstructured 2D images,
but still can not generate highly-realistic images with fine details. A
critical reason is that the high memory and computation cost of volumetric
representation learning greatly restricts the number of point samples for
radiance integration during training. Deficient sampling not only limits the
expressive power of the generator to handle fine details but also impedes
effective GAN training due to the noise caused by unstable Monte Carlo
sampling. We propose a novel approach that regulates point sampling and
radiance field learning on 2D manifolds, embodied as a set of learned implicit
surfaces in the 3D volume. For each viewing ray, we calculate ray-surface
intersections and accumulate their radiance generated by the network. By
training and rendering such radiance manifolds, our generator can produce high
quality images with realistic fine details and strong visual 3D consistency.
- Abstract（参考訳）: 3D対応画像生成モデリングは、カメラポーズを明示的に制御可能な3D一貫性画像を生成することを目的としている。
ニューラル・ラジアンス・フィールド (nerf) ジェネレータを非構造化2d画像に訓練することで、近年の研究では有望な結果が得られたが、細部まで詳細な画像を生成することはできない。
重要な理由は、ボリューム表現学習の高記憶量と計算コストが、トレーニング中の放射積分のための点サンプル数を大幅に制限しているためである。
欠損サンプリングは、ジェネレータの表現力を制限するだけでなく、不安定なモンテカルロサンプリングによるノイズによる効果的なGANトレーニングを阻害する。
本稿では,3次元体積の暗黙曲面の集合として具体化された2次元多様体上の点サンプリングと放射場学習を規制する新しい手法を提案する。
それぞれの視線に対して、線面の交点を計算し、ネットワークによって生成された放射率を蓄積する。
このような放射率多様体の訓練とレンダリングにより、われわれのジェネレータは、現実的な細部と強力な視覚的3D整合性を持つ高品質な画像を生成することができる。
関連論文リスト
- Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-05T19:00:45Z) - ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative
Neural Radiance Fields [2.458437232470188]
ZIGNeRFは、ゼロショット生成アドリアスネットワーク(GAN)を逆さまに実行し、1つのドメイン外画像から多視点画像を生成する革新的なモデルである。
ZIGNeRFは、オブジェクトを背景から切り離し、360度回転や深さ、水平変換といった3D操作を実行することができる。
論文 参考訳（メタデータ） (2023-06-05T09:41:51Z) - Likelihood-Based Generative Radiance Field with Latent Space
Energy-Based Model for 3D-Aware Disentangled Image Representation [43.41596483002523]
本稿では,Neural Radiance Fields (NeRF) による3次元表現と,可変ボリュームレンダリングによる2次元画像処理を併用した3次元画像生成モデルを提案する。
いくつかのベンチマークデータセットの実験では、NeRF-LEBMは2D画像から3Dオブジェクト構造を推測し、新しいビューとオブジェクトで2D画像を生成し、不完全な2D画像から学び、未知のカメラポーズで2D画像から学ぶことができる。
論文 参考訳（メタデータ） (2023-04-16T23:44:41Z) - GVP: Generative Volumetric Primitives [76.95231302205235]
本稿では,512解像度画像をリアルタイムにサンプリング・レンダリングできる最初の純3次元生成モデルである生成ボリュームプリミティブ(GVP)を提案する。
GVPは、複数のプリミティブとその空間情報を共同でモデル化し、どちらも2D畳み込みネットワークを介して効率的に生成することができる。
いくつかのデータセットの実験は、最先端技術よりも優れた効率性とGVPの3次元一貫性を示す。
論文 参考訳（メタデータ） (2023-03-31T16:50:23Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳（メタデータ） (2023-03-22T18:59:48Z) - Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator [68.0533826852601]
3Dを意識した画像合成は、画像のリアルな2D画像の描画が可能な生成モデルを学ぶことを目的としている。
既存の方法では、適度な3D形状が得られない。
本稿では,3次元GANの改良を目的とした幾何学的識別器を提案する。
論文 参考訳（メタデータ） (2022-09-30T17:59:37Z) - GRAM-HD: 3D-Consistent Image Generation at High Resolution with
Generative Radiance Manifolds [28.660893916203747]
本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。
私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。
FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
論文 参考訳（メタデータ） (2022-06-15T02:35:51Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z) - 3D-aware Image Synthesis via Learning Structural and Textural
Representations [39.681030539374994]
生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。
近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。
本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
論文 参考訳（メタデータ） (2021-12-20T18:59:40Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。