論文の概要: NeRF in detail: Learning to sample for view synthesis

• arxiv url: http://arxiv.org/abs/2106.05264v1
• Date: Wed, 9 Jun 2021 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:14:52.916040
• Title: NeRF in detail: Learning to sample for view synthesis
• Title（参考訳）: NeRFの詳細: ビュー合成のためのサンプルの学習
• Authors: Relja Arandjelovi\'c, Andrew Zisserman
• Abstract要約: ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
• 参考スコア（独自算出の注目度）: 104.75126790300735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields (NeRF) methods have demonstrated impressive novel view synthesis performance. The core approach is to render individual rays by querying a neural network at points sampled along the ray to obtain the density and colour of the sampled points, and integrating this information using the rendering equation. Since dense sampling is computationally prohibitive, a common solution is to perform coarse-to-fine sampling. In this work we address a clear limitation of the vanilla coarse-to-fine approach -- that it is based on a heuristic and not trained end-to-end for the task at hand. We introduce a differentiable module that learns to propose samples and their importance for the fine network, and consider and compare multiple alternatives for its neural architecture. Training the proposal module from scratch can be unstable due to lack of supervision, so an effective pre-training strategy is also put forward. The approach, named `NeRF in detail' (NeRF-ID), achieves superior view synthesis quality over NeRF and the state-of-the-art on the synthetic Blender benchmark and on par or better performance on the real LLFF-NeRF scenes. Furthermore, by leveraging the predicted sample importance, a 25% saving in computation can be achieved without significantly sacrificing the rendering quality.
• Abstract（参考訳）: neural radiance fields (nerf) 法は印象的な新規なビュー合成性能を示している。 中心となるアプローチは、ニューラルネットワークを光線に沿ってサンプリングされた点にクエリして、サンプリングされた点の密度と色を取得し、この情報をレンダリング方程式を用いて統合することである。 密度サンプリングは計算的に禁止されているため、粗大なサンプリングを行うのが一般的な方法である。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- ヒューリスティックで、手元にあるタスクのエンドツーエンドをトレーニングしていないことに基づいています。 本稿では、サンプルの提案とそのネットワークにおける重要性を学習し、そのニューラルアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを提案する。 提案モジュールをスクラッチからトレーニングすることは、監督の欠如により不安定になり得るため、効果的な事前訓練戦略も推進される。 NeRF-ID(NeRF in detail)と呼ばれるこの手法は、NeRFとBlenderベンチマークの最先端技術、および実際のLLFF-NeRFのシーンにおける同等以上のパフォーマンスを実現する。 さらに、予測されたサンプル重要度を活用することにより、レンダリング品質を著しく犠牲にすることなく、25%の計算の節約が達成できる。

関連論文リスト

• Efficient NeRF Optimization -- Not All Samples Remain Equally Hard [9.404889815088161]
  ニューラルレイディアンスフィールド(NeRF)の効率的なトレーニングのためのオンラインハードサンプルマイニングの応用を提案する。 NeRFモデルは、多くの3D再構成およびレンダリングタスクに対して最先端の品質を生み出すが、かなりの計算資源を必要とする。
  論文  参考訳（メタデータ） (2024-08-06T13:49:01Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• NeRF-VPT: Learning Novel View Representations with Neural Radiance Fields via View Prompt Tuning [63.39461847093663]
  本研究では,これらの課題に対処するための新しいビュー合成手法であるNeRF-VPTを提案する。 提案するNeRF-VPTは、先行レンダリング結果から得られたRGB情報を、その後のレンダリングステージのインストラクティブな視覚的プロンプトとして機能するカスケーディングビュープロンプトチューニングパラダイムを用いている。 NeRF-VPTは、追加のガイダンスや複雑なテクニックに頼ることなく、トレーニングステージ毎に前のステージレンダリングからRGBデータをサンプリングするだけである。
  論文  参考訳（メタデータ） (2024-03-02T22:08:10Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• ProNeRF: Learning Efficient Projection-Aware Ray Sampling for Fine-Grained Implicit Neural Radiance Fields [27.008124938806944]
  メモリフットプリント(NeRFに似ている)、スピード(HyperReelより速い)、品質(K-Planesより速い)の最適なトレードオフを提供するProNeRFを提案する。 我々のProNeRFは最先端の計測値であり、最も優れたサンプルベース手法であるHyperReelよりも15-23倍高速で、PSNRは0.65dB高く、PSNRは0.95dB高い。
  論文  参考訳（メタデータ） (2023-12-13T13:37:32Z)
• RL-based Stateful Neural Adaptive Sampling and Denoising for Real-Time Path Tracing [1.534667887016089]
  モンテカルロ経路追跡は、現実的な画像合成の強力な手法であるが、低いサンプル数での高レベルのノイズに悩まされている。 本稿では,サンプリング重要度ネットワーク,遅延空間エンコーダネットワーク,デノイザネットワークをエンドツーエンドでトレーニングするフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-05T12:39:27Z)
• Cascaded and Generalizable Neural Radiance Fields for Fast View Synthesis [35.035125537722514]
  ビュー合成のためのカスケードおよび一般化可能なニューラル放射場法であるCG-NeRFを提案する。 DTUデータセットの複数の3DシーンでCG-NeRFをトレーニングする。 CG-NeRFは、様々な合成および実データに対して、最先端の一般化可能なニューラルネットワークレンダリング手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T12:23:48Z)
• AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance Fields [8.214695794896127]
  新たなビュー合成は、スパース観測から直接神経放射場を学習することで、近年革新されている。 この新たなパラダイムによる画像のレンダリングは、ボリュームレンダリング方程式の正確な4分の1は、各光線に対して大量のサンプルを必要とするため、遅い。 本稿では,必要なサンプル点数を最大限に削減する方法を学習し,方向性を示す新しいデュアルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-07-21T05:59:13Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• NeuSample: Neural Sample Field for Efficient View Synthesis [129.10351459066501]
  本稿では,ニューラルサンプル場を命名する軽量モジュールを提案する。 提案したサンプルフィールドは、線をサンプル分布にマッピングし、点座標に変換し、ボリュームレンダリングのために放射場に供給することができる。 我々はNeuSampleが高速な推論速度を保ちながら、NeRFよりも優れたレンダリング品質を実現することを示す。
  論文  参考訳（メタデータ） (2021-11-30T16:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。