Fugu-MT 論文翻訳(概要): NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions

論文の概要: NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions

arxiv url: http://arxiv.org/abs/2303.12865v3
Date: Mon, 24 Jul 2023 12:08:50 GMT
ステータス: 処理完了
システム内更新日: 2023-07-25 23:32:40.473561
Title: NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions
Title（参考訳）: 畳み込みを伴う高効率3次元アウェア生成のためのNeRF-GAN蒸留
Authors: Mohamad Shahbazi, Evangelos Ntavelis, Alessio Tonioni, Edo Collins, Danda Pani Paudel, Martin Danelljan, Luc Van Gool
Abstract要約: GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
参考スコア（独自算出の注目度）: 97.27105725738016
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Pose-conditioned convolutional generative models struggle with high-quality 3D-consistent image generation from single-view datasets, due to their lack of sufficient 3D priors. Recently, the integration of Neural Radiance Fields (NeRFs) and generative models, such as Generative Adversarial Networks (GANs), has transformed 3D-aware generation from single-view images. NeRF-GANs exploit the strong inductive bias of neural 3D representations and volumetric rendering at the cost of higher computational complexity. This study aims at revisiting pose-conditioned 2D GANs for efficient 3D-aware generation at inference time by distilling 3D knowledge from pretrained NeRF-GANs. We propose a simple and effective method, based on re-using the well-disentangled latent space of a pre-trained NeRF-GAN in a pose-conditioned convolutional network to directly generate 3D-consistent images corresponding to the underlying 3D representations. Experiments on several datasets demonstrate that the proposed method obtains results comparable with volumetric rendering in terms of quality and 3D consistency while benefiting from the computational advantage of convolutional networks. The code will be available at: https://github.com/mshahbazi72/NeRF-GAN-Distillation
Abstract（参考訳）: ポーズ条件付き畳み込み生成モデルは、十分な3dプリミティブがないため、シングルビューデータセットから高品質な3d一貫性のある画像生成に苦しむ。近年,ニューラルレージアンスフィールド(NeRF)とGAN(Generative Adversarial Networks)のような生成モデルの統合により,単一ビュー画像から3次元認識生成が変化している。 NeRF-GANは、高い計算複雑性を犠牲にして、ニューラル3D表現とボリュームレンダリングの強い誘導バイアスを利用する。本研究では,事前学習したNeRF-GANから3D知識を蒸留することにより,ポーズ条件付き2D GANを推論時に効率よく3D認識生成するために再検討することを目的とする。提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。提案手法は,畳み込みネットワークの計算的優位性を生かしながら,品質と3次元一貫性の観点から,ボリュームレンダリングに匹敵する結果が得られることを示す。コードは以下の通り。 https://github.com/mshahbazi72/NeRF-GAN-Distillation

関連論文リスト

DiffSplat: Repurposing Image Diffusion Models for Scalable Gaussian Splat Generation [33.62074896816882]
DiffSplatは,大規模テキスト・画像拡散モデルを用いて3次元ガウススプラットを生成する新しい3次元生成フレームワークである。従来の3D生成モデルと異なり、Webスケールの2D事前を効果的に活用しつつ、統一モデルにおける3D一貫性を維持している。これらの格子上の正規拡散損失と合わせて、3Dレンダリング損失を導入し、任意のビューの3Dコヒーレンスを促進する。
論文参考訳（メタデータ） (2025-01-28T07:38:59Z)
Zero-1-to-G: Taming Pretrained 2D Diffusion Model for Direct 3D Generation [66.75243908044538]
我々は,事前学習した2次元拡散モデルを用いたガウススプラット上での3次元直接生成手法であるZero-1-to-Gを導入する。 3D認識を取り入れるために,複雑な相関関係を捉え,生成されたスプラット間の3D一貫性を強制する,クロスビュー層とクロスアトリビュートアテンション層を導入する。これにより、Zero-1-to-Gは、事前訓練された2D拡散前処理を効果的に活用する最初の直接画像から3D生成モデルとなり、効率的なトレーニングと未確認物体への一般化が実現された。
論文参考訳（メタデータ） (2025-01-09T18:37:35Z)
DSplats: 3D Generation by Denoising Splats-Based Multiview Diffusion Models [67.50989119438508]
本稿では,ガウスをベースとしたレコンストラクタを用いて,リアルな3Dアセットを生成することで,マルチビュー画像を直接認識するDSplatを紹介した。実験の結果,DSplatsは高品質で空間的に一貫した出力を生成できるだけでなく,単一画像から3次元再構成への新たな標準も設定できることがわかった。
論文参考訳（メタデータ） (2024-12-11T07:32:17Z)
LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation [73.36690511083894]
本稿では,LN3Diffと呼ばれる新しいフレームワークを導入し,統一された3次元拡散パイプラインに対処する。提案手法では,3次元アーキテクチャと変分オートエンコーダを用いて,入力画像を構造化されたコンパクトな3次元潜在空間に符号化する。 3次元生成のためのShapeNetの最先端性能を実現し,モノクロ3次元再構成と条件付き3次元生成において優れた性能を示す。
論文参考訳（メタデータ） (2024-03-18T17:54:34Z)
Learning Effective NeRFs and SDFs Representations with 3D Generative Adversarial Networks for 3D Object Generation [27.068337487647156]
ICCV 2023 OmniObject3D Challengeの3次元オブジェクト生成ソリューションを提案する。本研究では,3次元オブジェクト生成のための3次元生成支援ネットワーク(GAN)を用いた学習効率の高いNeRFとSDFの表現について検討する。このソリューションはICCV 2023 OmniObject3D Challengeでトップ3に入っている。
論文参考訳（メタデータ） (2023-09-28T02:23:46Z)
ZIGNeRF: Zero-shot 3D Scene Representation with Invertible Generative Neural Radiance Fields [2.458437232470188]
ZIGNeRFは、ゼロショット生成アドリアスネットワーク(GAN)を逆さまに実行し、1つのドメイン外画像から多視点画像を生成する革新的なモデルである。 ZIGNeRFは、オブジェクトを背景から切り離し、360度回転や深さ、水平変換といった3D操作を実行することができる。
論文参考訳（メタデータ） (2023-06-05T09:41:51Z)
GVP: Generative Volumetric Primitives [76.95231302205235]
本稿では,512解像度画像をリアルタイムにサンプリング・レンダリングできる最初の純3次元生成モデルである生成ボリュームプリミティブ(GVP)を提案する。 GVPは、複数のプリミティブとその空間情報を共同でモデル化し、どちらも2D畳み込みネットワークを介して効率的に生成することができる。いくつかのデータセットの実験は、最先端技術よりも優れた効率性とGVPの3次元一貫性を示す。
論文参考訳（メタデータ） (2023-03-31T16:50:23Z)
Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator [68.0533826852601]
3Dを意識した画像合成は、画像のリアルな2D画像の描画が可能な生成モデルを学ぶことを目的としている。既存の方法では、適度な3D形状が得られない。本稿では,3次元GANの改良を目的とした幾何学的識別器を提案する。
論文参考訳（メタデータ） (2022-09-30T17:59:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。