論文の概要: DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models

• arxiv url: http://arxiv.org/abs/2302.12231v3
• Date: Wed, 8 Nov 2023 11:38:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 20:14:59.034717
• Title: DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models
• Title（参考訳）: DiffusioNeRF: Denoising Diffusion Modelを用いた正則化ニューラルラジアンス場
• Authors: Jamie Wynn, Daniyar Turmukhambetov
• Abstract要約: デノナイジング拡散モデル(DDM)を用いてシーン形状と色に関する事前学習を行う。 これらのRGBDパッチの対数勾配は、シーンの幾何や色を規則化するのに役立ちます。 最も関連性の高いデータセットであるLLFFの評価は、我々の学習前は、再構成された幾何学の質の向上と、新しいビューの改善を実現していることを示している。
• 参考スコア（独自算出の注目度）: 5.255302402546892
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Under good conditions, Neural Radiance Fields (NeRFs) have shown impressive results on novel view synthesis tasks. NeRFs learn a scene's color and density fields by minimizing the photometric discrepancy between training views and differentiable renderings of the scene. Once trained from a sufficient set of views, NeRFs can generate novel views from arbitrary camera positions. However, the scene geometry and color fields are severely under-constrained, which can lead to artifacts, especially when trained with few input views. To alleviate this problem we learn a prior over scene geometry and color, using a denoising diffusion model (DDM). Our DDM is trained on RGBD patches of the synthetic Hypersim dataset and can be used to predict the gradient of the logarithm of a joint probability distribution of color and depth patches. We show that, these gradients of logarithms of RGBD patch priors serve to regularize geometry and color of a scene. During NeRF training, random RGBD patches are rendered and the estimated gradient of the log-likelihood is backpropagated to the color and density fields. Evaluations on LLFF, the most relevant dataset, show that our learned prior achieves improved quality in the reconstructed geometry and improved generalization to novel views. Evaluations on DTU show improved reconstruction quality among NeRF methods.
• Abstract（参考訳）: 良好な条件下では、ニューラルレージアンス場(NeRF)は、新しいビュー合成タスクにおいて印象的な結果を示している。 NeRFは、トレーニングビューとシーンの異なるレンダリングとの光度差を最小限にして、シーンの色と密度場を学習する。 十分な一連のビューからトレーニングされたNeRFは、任意のカメラ位置から新しいビューを生成することができる。 しかし、シーンの幾何学とカラーフィールドは厳しい制約下にあり、特に少ない入力ビューでトレーニングされた場合、アーティファクトにつながる可能性がある。 この問題を軽減するために,ddm(denoising diffusion model)を用いて,風景形状と色彩の先行学習を行う。 我々のDDMは、合成HypersimデータセットのRGBDパッチに基づいて訓練されており、色と深さの確率分布の対数勾配を予測できる。 これらのrgbdパッチプリエントの対数勾配は,シーンの形状や色を規則化するのに役立つ。 nerfトレーニング中、ランダムなrgbdパッチがレンダリングされ、ログ類似度の推定勾配が色と密度フィールドに再伝播される。 最も関連するデータセットであるllffの評価は、学習済みの事前学習によって再構成された幾何学の質が向上し、新しい視点への一般化が改善されたことを示している。 DTUの評価では、NeRF法で再現性が改善された。

関連論文リスト

• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
  我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。 本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-01-26T05:14:12Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Mip-NeRF RGB-D: Depth Assisted Fast Neural Radiance Fields [0.696125353550498]
  ニューラルレイディアンスフィールド(NeRF)のようなニューラルシーン表現は、既知のポーズを持つカラー画像のセットを使用して多層パーセプトロン(MLP)をトレーニングすることに基づいている。 今や多くのデバイスがRGB-D情報を生成しており、これは幅広いタスクにおいて非常に重要であることが示されている。 本稿では,色画像に深度情報を組み込むことにより,これらの有望な暗示表現にどのような改善をもたらすかを検討する。
  論文  参考訳（メタデータ） (2022-05-19T07:11:42Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。