論文の概要: SuperNeRF-GAN: A Universal 3D-Consistent Super-Resolution Framework for Efficient and Enhanced 3D-Aware Image Synthesis

• arxiv url: http://arxiv.org/abs/2501.06770v2
• Date: Fri, 17 Jan 2025 08:02:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:57:39.731338
• Title: SuperNeRF-GAN: A Universal 3D-Consistent Super-Resolution Framework for Efficient and Enhanced 3D-Aware Image Synthesis
• Title（参考訳）: SuperNeRF-GAN: 効率的かつ高機能な3次元画像合成のためのユニバーサル3D一貫性超解法フレームワーク
• Authors: Peng Zheng, Linzhi Huang, Yizhou Yu, Yi Chang, Yilin Wang, Rui Ma,
• Abstract要約: 本稿では,3次元連続超解像のための汎用フレームワークであるSuperNeRF-GANを提案する。 SuperNeRF-GANの重要な特徴は、NeRFベースの3D認識画像合成手法とのシームレスな統合である。 実験により, 提案手法の効率性, 3次元整合性, 品質が示された。
• 参考スコア（独自算出の注目度）: 59.73403876485574
• License:
• Abstract: Neural volume rendering techniques, such as NeRF, have revolutionized 3D-aware image synthesis by enabling the generation of images of a single scene or object from various camera poses. However, the high computational cost of NeRF presents challenges for synthesizing high-resolution (HR) images. Most existing methods address this issue by leveraging 2D super-resolution, which compromise 3D-consistency. Other methods propose radiance manifolds or two-stage generation to achieve 3D-consistent HR synthesis, yet they are limited to specific synthesis tasks, reducing their universality. To tackle these challenges, we propose SuperNeRF-GAN, a universal framework for 3D-consistent super-resolution. A key highlight of SuperNeRF-GAN is its seamless integration with NeRF-based 3D-aware image synthesis methods and it can simultaneously enhance the resolution of generated images while preserving 3D-consistency and reducing computational cost. Specifically, given a pre-trained generator capable of producing a NeRF representation such as tri-plane, we first perform volume rendering to obtain a low-resolution image with corresponding depth and normal map. Then, we employ a NeRF Super-Resolution module which learns a network to obtain a high-resolution NeRF. Next, we propose a novel Depth-Guided Rendering process which contains three simple yet effective steps, including the construction of a boundary-correct multi-depth map through depth aggregation, a normal-guided depth super-resolution and a depth-guided NeRF rendering. Experimental results demonstrate the superior efficiency, 3D-consistency, and quality of our approach. Additionally, ablation studies confirm the effectiveness of our proposed components.
• Abstract（参考訳）: NeRFのようなニューラルボリュームレンダリング技術は、様々なカメラポーズから単一のシーンやオブジェクトの画像を生成することによって、3D認識画像合成に革命をもたらした。 しかし、NeRFの計算コストが高いことから、高分解能(HR)画像の合成が困難である。 既存の手法の多くは、3D一貫性を損なう2D超解像を利用してこの問題に対処している。 他の方法では、3D一貫性のHR合成を達成するために放射多様体や2段階生成を提案するが、それらは特定の合成タスクに限定され、普遍性を減少させる。 これらの課題に対処するため、我々は3次元一貫性を持つ超解像のための普遍的なフレームワークであるSuperNeRF-GANを提案する。 SuperNeRF-GANの重要な特徴は、NeRFベースの3D対応画像合成手法とのシームレスな統合であり、3D一貫性を保ち、計算コストを低減しつつ、生成画像の解像度を同時に向上することができる。 具体的には、三面体のようなNeRF表現を生成できる事前訓練された生成装置が与えられた場合、まずボリュームレンダリングを行い、対応する深さと正規写像の低解像度画像を得る。 そして、ネットワークを学習して高分解能のNeRFを得るNeRFスーパーリゾリューションモジュールを用いる。 次に,Depth-Guided Rendering法を提案する。Depth-Guided Rendering法は,深度集約による境界補正多重深度マップの構築,正規誘導深度超解像,深度誘導NRFレンダリングの3つの単純なステップを含む。 実験により, 提案手法の効率性, 3次元整合性, 品質が示された。 さらに, アブレーション実験により, 提案した成分の有効性が確認された。

関連論文リスト

• Direct and Explicit 3D Generation from a Single Image [25.207277983430608]
  マルチビュー2次元深度画像とRGB画像を用いて表面形状とテクスチャを直接生成する新しいフレームワークを提案する。 画素レベルの多視点整合性を実現するために,エピポーラの注意を潜時から画素間デコーダに組み込む。 生成した深度画素を3次元空間にバックプロジェクションすることにより、構造化された3次元表現を生成する。
  論文  参考訳（メタデータ） (2024-11-17T03:14:50Z)
• DiSR-NeRF: Diffusion-Guided View-Consistent Super-Resolution NeRF [50.458896463542494]
  DiSR-NeRFは、ビュー一貫性を持つ超解像(SR)NeRFのための拡散誘導フレームワークである。 我々は,NeRFの固有多視点整合性により不整合問題を緩和するイテレーティブ3Dシンクロナイゼーション(I3DS)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T03:06:23Z)
• Super-NeRF: View-consistent Detail Generation for NeRF super-resolution [39.58800919345451]
  我々は,低分解能入力のみから高分解能NeRFを生成するために,Super-NeRFと呼ばれるNeRF超解像法を提案する。 Super-NeRFは高解像度ディテール生成とクロスビュー整合性において最先端のNeRF超解像性能を実現する。
  論文  参考訳（メタデータ） (2023-04-26T12:54:40Z)
• NeRF-GAN Distillation for Efficient 3D-Aware Generation with Convolutions [97.27105725738016]
  GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。 提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
  論文  参考訳（メタデータ） (2023-03-22T18:59:48Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• 3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
  生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。 近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。 本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
  論文  参考訳（メタデータ） (2021-12-20T18:59:40Z)
• Efficient Geometry-aware 3D Generative Adversarial Networks [50.68436093869381]
  既存の3D GANは計算集約的であるか、3D一貫性のない近似を行う。 本研究では、3D GANの計算効率と画質をこれらの近似に頼らずに改善する。 本稿では,高解像度のマルチビュー一貫性画像だけでなく,高品質な3次元形状をリアルタイムに合成する,表現型ハイブリッド・明示型ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-15T08:01:43Z)
• StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis [92.25145204543904]
  StyleNeRFは高解像度画像合成のための3次元認識型生成モデルである。 ニューラル放射場(NeRF)をスタイルベースジェネレータに統合する。 高品質な3D一貫性を維持しながら、対話的な速度で高解像度画像を合成することができる。
  論文  参考訳（メタデータ） (2021-10-18T02:37:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。