論文の概要: Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction

• arxiv url: http://arxiv.org/abs/2304.06714v4
• Date: Fri, 25 Aug 2023 14:36:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 17:31:37.622981
• Title: Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction
• Title（参考訳）: 単段拡散NeRF : 3次元生成と再構成への統一的アプローチ
• Authors: Hansheng Chen, Jiatao Gu, Anpei Chen, Wei Tian, Zhuowen Tu, Lingjie Liu, Hao Su
• Abstract要約: 3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
• 参考スコア（独自算出の注目度）: 77.69363640021503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 3D-aware image synthesis encompasses a variety of tasks, such as scene generation and novel view synthesis from images. Despite numerous task-specific methods, developing a comprehensive model remains challenging. In this paper, we present SSDNeRF, a unified approach that employs an expressive diffusion model to learn a generalizable prior of neural radiance fields (NeRF) from multi-view images of diverse objects. Previous studies have used two-stage approaches that rely on pretrained NeRFs as real data to train diffusion models. In contrast, we propose a new single-stage training paradigm with an end-to-end objective that jointly optimizes a NeRF auto-decoder and a latent diffusion model, enabling simultaneous 3D reconstruction and prior learning, even from sparsely available views. At test time, we can directly sample the diffusion prior for unconditional generation, or combine it with arbitrary observations of unseen objects for NeRF reconstruction. SSDNeRF demonstrates robust results comparable to or better than leading task-specific methods in unconditional generation and single/sparse-view 3D reconstruction.
• Abstract（参考訳）: 3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 多くのタスク固有の手法にもかかわらず、包括的なモデルの開発は依然として困難である。 本稿では,様々な物体の多視点画像からニューラルレイディアンス場(NeRF)の一般化を学習するために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。 これまでの研究では、事前訓練されたNeRFを実データとして利用して拡散モデルを訓練してきた。 そこで本研究では,nrfオートデコーダと潜在拡散モデルを同時に最適化し,可視性の低いビューからでも同時3次元再構成と事前学習を実現する,エンドツーエンドの目標を持つ新しい単段階学習パラダイムを提案する。 実験時には, 未条件発生前の拡散を直接サンプリングしたり, 未確認物体の任意の観測と組み合わせてNeRF再構成を行うことができる。 SSDNeRFは、非条件生成および単一/スパースビュー3D再構成において、主要なタスク固有手法に匹敵するロバストな結果を示す。

関連論文リスト

• DiHuR: Diffusion-Guided Generalizable Human Reconstruction [51.31232435994026]
  一般化可能なヒト3次元再構成のための拡散誘導モデルであるDiHuRを導入し,スパース・ミニマル・オーバーラップ画像からのビュー合成について述べる。 提案手法は, 一般化可能なフィードフォワードモデルと2次元拡散モデルとの2つのキー前処理をコヒーレントな方法で統合する。
  論文  参考訳（メタデータ） (2024-11-16T03:52:23Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Template-Free Single-View 3D Human Digitalization with Diffusion-Guided LRM [29.13412037370585]
  本稿では,拡散誘導フィードフォワードモデルであるHuman-LRMを提案する。 本手法は,例えばSMPLなどのテンプレートを使わずにヒトを捕獲し,リッチでリアルなディテールで咬合部を効果的に増強することができる。
  論文  参考訳（メタデータ） (2024-01-22T18:08:22Z)
• CAD: Photorealistic 3D Generation via Adversarial Distillation [28.07049413820128]
  本稿では,事前学習した拡散モデルを用いた3次元合成のための新しい学習パラダイムを提案する。 提案手法は,1つの画像に条件付された高忠実かつ光リアルな3Dコンテンツの生成を解放し,プロンプトを行う。
  論文  参考訳（メタデータ） (2023-12-11T18:59:58Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors [24.05480789681139]
  本研究では,2次元拡散モデルから一般的な画像の事前処理が可能な単一視点NeRF合成フレームワークNeRDiを提案する。 市販の視覚言語モデルを活用し、拡散モデルに条件付け入力として2節言語ガイダンスを導入する。 In-the-wild画像に対するゼロショットNeRF合成における一般化可能性も示す。
  論文  参考訳（メタデータ） (2022-12-06T19:00:07Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• NeRF-VAE: A Geometry Aware 3D Scene Generative Model [14.593550382914767]
  本研究では,NeRFによる幾何学的構造を組み込んだ3次元シーン生成モデルNeRF-VAEを提案する。 NeRF-VAEの明示的な3Dレンダリングプロセスは、以前の生成モデルと畳み込みベースのレンダリングとを対比する。 トレーニングが完了すると、NeRF-VAEは以前に見つからなかった3D環境から幾何学的に一貫性のあるシーンを推測、描画できることを示す。
  論文  参考訳（メタデータ） (2021-04-01T16:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。