論文の概要: DiffRF: Rendering-Guided 3D Radiance Field Diffusion

• arxiv url: http://arxiv.org/abs/2212.01206v1
• Date: Fri, 2 Dec 2022 14:37:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 16:58:03.531253
• Title: DiffRF: Rendering-Guided 3D Radiance Field Diffusion
• Title（参考訳）: diffrf:レンダリング誘導3次元放射拡散
• Authors: Norman M\"uller, Yawar Siddiqui, Lorenzo Porzi, Samuel Rota Bul\`o, Peter Kontschieder, Matthias Nie{\ss}ner
• Abstract要約: 本稿では,拡散確率モデルに基づく3次元放射場合成の新しい手法であるDiffRFを紹介する。 2次元拡散モデルとは対照的に、我々のモデルは多視点一貫した先行情報を学習し、自由視点合成と正確な形状生成を可能にする。
• 参考スコア（独自算出の注目度）: 18.20324411024166
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce DiffRF, a novel approach for 3D radiance field synthesis based on denoising diffusion probabilistic models. While existing diffusion-based methods operate on images, latent codes, or point cloud data, we are the first to directly generate volumetric radiance fields. To this end, we propose a 3D denoising model which directly operates on an explicit voxel grid representation. However, as radiance fields generated from a set of posed images can be ambiguous and contain artifacts, obtaining ground truth radiance field samples is non-trivial. We address this challenge by pairing the denoising formulation with a rendering loss, enabling our model to learn a deviated prior that favours good image quality instead of trying to replicate fitting errors like floating artifacts. In contrast to 2D-diffusion models, our model learns multi-view consistent priors, enabling free-view synthesis and accurate shape generation. Compared to 3D GANs, our diffusion-based approach naturally enables conditional generation such as masked completion or single-view 3D synthesis at inference time.
• Abstract（参考訳）: 本稿では,拡散確率モデルに基づく3次元放射場合成の新しい手法であるDiffRFを紹介する。 既存の拡散法は画像,潜伏符号,あるいは点クラウドデータに対して動作するが,我々は初めて体積放射場を直接生成する。 この目的のために,明示的なボクセルグリッド表現を直接操作する3次元分数モデルを提案する。 しかし、ポーズされた画像の集合から生成される放射光場は曖昧であり、アーティファクトを含んでいるため、基底真理放射光場サンプルを得るのは非自明である。 この課題に対処するために,デノイジングの定式化とレンダリングロスを組み合わせることで,フローティングアーティファクトのようなエラーを再現しようとするのではなく,優れた画質を優先したデノイジンの事前学習を可能にします。 2d-diffusionモデルとは対照的に,多視点整合前処理を学習し,自由視点合成と正確な形状生成を可能にする。 3D GANと比較して、拡散に基づくアプローチは自然に、仮面完成や単視点3D合成のような条件付き生成を可能にする。

関連論文リスト

• Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation [51.346733271166926]
  Mesh2NeRFは、3次元生成タスクのためのテクスチャメッシュから地上構造放射場を導出するアプローチである。 各種タスクにおけるMesh2NeRFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-03-28T11:22:53Z)
• GD^2-NeRF: Generative Detail Compensation via GAN and Diffusion for One-shot Generalizable Neural Radiance Fields [41.63632669921749]
  本稿では,GANと拡散を用いた生成的詳細補償フレームワークを提案する。 このフレームワークは、推論時の微調整なしと、鮮明な検証可能な詳細の両方である。 合成データセットと実世界のデータセットの両方の実験では、GD$2$-NeRFはシーンごとの微調整なしに細部を著しく改善している。
  論文  参考訳（メタデータ） (2024-01-01T00:08:39Z)
• CAD: Photorealistic 3D Generation via Adversarial Distillation [28.07049413820128]
  本稿では,事前学習した拡散モデルを用いた3次元合成のための新しい学習パラダイムを提案する。 提案手法は,1つの画像に条件付された高忠実かつ光リアルな3Dコンテンツの生成を解放し,プロンプトを行う。
  論文  参考訳（メタデータ） (2023-12-11T18:59:58Z)
• Diffusion with Forward Models: Solving Stochastic Inverse Problems Without Direct Supervision [76.32860119056964]
  本稿では,直接観測されない信号の分布からサンプルを学習する拡散確率モデルを提案する。 コンピュータビジョンの課題3つの課題に対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-06-20T17:53:00Z)
• Relightify: Relightable 3D Faces from a Single Image via Diffusion Models [86.3927548091627]
  単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。 既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
  論文  参考訳（メタデータ） (2023-05-10T11:57:49Z)
• Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction [77.69363640021503]
  3D対応画像合成は、シーン生成や画像からの新規ビュー合成など、様々なタスクを含む。 本稿では,様々な物体の多視点画像から,ニューラルラディアンス場(NeRF)の一般化可能な事前学習を行うために,表現拡散モデルを用いた統一的アプローチであるSSDNeRFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:59:01Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• DreamFusion: Text-to-3D using 2D Diffusion [52.52529213936283]
  テキストと画像の合成の最近の進歩は、何十億もの画像と画像のペアで訓練された拡散モデルによって引き起こされている。 本研究では,事前訓練された2次元テキスト・ツー・イメージ拡散モデルを用いてテキスト・ツー・3次元合成を行うことにより,これらの制約を回避する。 提案手法では,3次元トレーニングデータや画像拡散モデルの変更は必要とせず,事前訓練した画像拡散モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2022-09-29T17:50:40Z)
• GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis [43.4859484191223]
  近年,単一シーンの新規なビュー合成に成功している放射場生成モデルを提案する。 マルチスケールのパッチベース判別器を導入し,非姿勢の2次元画像からモデルを訓練しながら高解像度画像の合成を実演する。
  論文  参考訳（メタデータ） (2020-07-05T20:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。