論文の概要: ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models

• arxiv url: http://arxiv.org/abs/2406.06133v1
• Date: Mon, 10 Jun 2024 09:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 14:27:16.907087
• Title: ExtraNeRF: Visibility-Aware View Extrapolation of Neural Radiance Fields with Diffusion Models
• Title（参考訳）: ExtraNeRF:拡散モデルを用いたニューラルラジアンス場の可視視点外挿
• Authors: Meng-Li Shih, Wei-Chiu Ma, Aleksander Holynski, Forrester Cole, Brian L. Curless, Janne Kontkanen,
• Abstract要約: ExtraNeRFはニューラル・ラジアンス・フィールド(NeRF)によって処理される視野を外挿する新しい方法である 主な考え方は、NeRFをシーン固有の細部までモデル化し、拡散モデルを利用して観測データを超えて外挿することです。
• 参考スコア（独自算出の注目度）: 60.48305533224092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose ExtraNeRF, a novel method for extrapolating the range of views handled by a Neural Radiance Field (NeRF). Our main idea is to leverage NeRFs to model scene-specific, fine-grained details, while capitalizing on diffusion models to extrapolate beyond our observed data. A key ingredient is to track visibility to determine what portions of the scene have not been observed, and focus on reconstructing those regions consistently with diffusion models. Our primary contributions include a visibility-aware diffusion-based inpainting module that is fine-tuned on the input imagery, yielding an initial NeRF with moderate quality (often blurry) inpainted regions, followed by a second diffusion model trained on the input imagery to consistently enhance, notably sharpen, the inpainted imagery from the first pass. We demonstrate high-quality results, extrapolating beyond a small number of (typically six or fewer) input views, effectively outpainting the NeRF as well as inpainting newly disoccluded regions inside the original viewing volume. We compare with related work both quantitatively and qualitatively and show significant gains over prior art.
• Abstract（参考訳）: ニューラル・レージアンス・フィールド(NeRF)によって処理されるビューの範囲を推定する新しい手法であるExtraNeRFを提案する。 主な考え方は、NeRFをシーン固有の細部までモデル化し、拡散モデルを利用して観測データを超えて外挿することです。 重要な要素は、シーンのどの部分が観察されていないかを特定するために可視性を追跡することであり、拡散モデルでこれらの領域を一貫して再構築することに集中することである。 我々の主な貢献は、入力画像に基づいて微調整された可視的拡散に基づく塗布モジュールで、中等質(しばしばぼやけた)塗布された領域の初期NeRFを生成し、次いで入力画像に基づいて訓練された第2拡散モデルを用いて、第1パスからの塗布された画像の連続的強化、特に鋭くする。 我々は、少数の(典型的には6以下の)入力ビューを外挿し、NeRFを効果的に上回り、また、元の視聴ボリューム内で新たに排除された領域を塗布する、高品質な結果を示す。 我々は,関連研究を定量的かつ質的に比較し,先行技術よりも顕著に向上したことを示す。

関連論文リスト

• Simple-RF: Regularizing Sparse Input Radiance Fields with Simpler Solutions [5.699788926464751]
  ニューラル・ラジアンス・フィールド(NeRF)は、シーンのフォトリアリスティックなフリービューレンダリングにおいて印象的なパフォーマンスを示す。 TensoRFやZipNeRFといったNeRFの最近の改良は、最適化とレンダリングの高速化のために明示的なモデルを採用している。 放射場によって推定される深度を監督することは、より少ない視点で効果的に学習することに役立つことを示す。
  論文  参考訳（メタデータ） (2024-04-29T18:00:25Z)
• Taming Latent Diffusion Model for Neural Radiance Field Inpainting [63.297262813285265]
  ニューラル・ラジアンス・フィールド(NeRF)は多視点画像からの3次元再構成の表現である。 本研究では,シーンごとのカスタマイズによる拡散モデルの傾向の緩和と,マスキングトレーニングによるテクスチャシフトの緩和を提案する。 我々のフレームワークは、様々な現実世界のシーンに最先端のNeRF塗装結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-15T17:59:57Z)
• Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
  我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。 具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。 本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
  論文  参考訳（メタデータ） (2023-05-24T14:00:32Z)
• Self-NeRF: A Self-Training Pipeline for Few-Shot Neural Radiance Fields [17.725937326348994]
  入力ビューの少ない放射場を反復的に洗練する自己進化型NeRFであるSelf-NeRFを提案する。 各イテレーションでは、予測された色や、前回のイテレーションからモデルが生成した歪んだピクセルで、目に見えないビューをラベル付けします。 これらの拡張された擬似ビューは、NeRFの性能を低下させる色やワープアーティファクトのインプレクションによって悩まされる。
  論文  参考訳（メタデータ） (2023-03-10T08:22:36Z)
• PANeRF: Pseudo-view Augmentation for Improved Neural Radiance Fields Based on Few-shot Inputs [3.818285175392197]
  神経放射場(NeRF)は複雑なシーンの新しいビューに有望な応用がある。 NeRFは、高品質な画像を生成するために、数百の数字の高密度な入力ビューを必要とする。 少ショット入力の幾何を考慮した十分な量のデータ拡張方式であるNeRFの擬似ビュー拡張を提案する。
  論文  参考訳（メタデータ） (2022-11-23T08:01:10Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs [79.00855490550367]
  我々は,多くの入力ビューが利用可能である場合,NeRFは見えない視点のフォトリアリスティックレンダリングを生成することができることを示す。 我々は、未観測の視点からレンダリングされたパッチの幾何学と外観を規則化することで、この問題に対処する。 我々のモデルは、1つのシーンで最適化する他の方法よりも、大規模なマルチビューデータセットで広範囲に事前訓練された条件付きモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-12-01T18:59:46Z)
• NeRF++: Analyzing and Improving Neural Radiance Fields [117.73411181186088]
  ニューラル・レージアンス・フィールド(NeRF)は、様々なキャプチャ設定のための印象的なビュー合成結果を達成する。 NeRFは、ビュー不変不透明度とビュー依存カラーボリュームを表す多層パーセプトロンを一連のトレーニング画像に適合させる。 大規模3次元シーンにおける物体の360度捕獲にNeRFを適用する際のパラメトリゼーション問題に対処する。
  論文  参考訳（メタデータ） (2020-10-15T03:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。