論文の概要: Differentiable Rendering with Reparameterized Volume Sampling
- arxiv url: http://arxiv.org/abs/2302.10970v3
- Date: Sat, 2 Mar 2024 00:31:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 21:13:04.331259
- Title: Differentiable Rendering with Reparameterized Volume Sampling
- Title(参考訳): 再パラメータ化ボリュームサンプリングによる微分レンダリング
- Authors: Nikita Morozov, Denis Rakitin, Oleg Desheulin, Dmitry Vetrov, Kirill
Struminsky
- Abstract要約: ビュー合成において、ニューラルネットワークは、シーン画像のスパースセットに基づいて、基礎となる密度と放射場を近似する。
このレンダリングアルゴリズムは、完全に微分可能であり、フィールドの勾配に基づく最適化を容易にする。
逆変換サンプリングに基づく単純なエンドツーエンドの微分可能サンプリングアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 2.717399369766309
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In view synthesis, a neural radiance field approximates underlying density
and radiance fields based on a sparse set of scene pictures. To generate a
pixel of a novel view, it marches a ray through the pixel and computes a
weighted sum of radiance emitted from a dense set of ray points. This rendering
algorithm is fully differentiable and facilitates gradient-based optimization
of the fields. However, in practice, only a tiny opaque portion of the ray
contributes most of the radiance to the sum. We propose a simple end-to-end
differentiable sampling algorithm based on inverse transform sampling. It
generates samples according to the probability distribution induced by the
density field and picks non-transparent points on the ray. We utilize the
algorithm in two ways. First, we propose a novel rendering approach based on
Monte Carlo estimates. This approach allows for evaluating and optimizing a
neural radiance field with just a few radiance field calls per ray. Second, we
use the sampling algorithm to modify the hierarchical scheme proposed in the
original NeRF work. We show that our modification improves reconstruction
quality of hierarchical models, at the same time simplifying the training
procedure by removing the need for auxiliary proposal network losses.
- Abstract(参考訳): ビュー合成において、ニューラルネットワークは、シーン画像のスパースセットに基づいて、基礎となる密度と放射場を近似する。
新規なビューの画素を生成するには、画素を通して光線を移動させ、高濃度の光点から放射される放射率の重み付け和を計算する。
このレンダリングアルゴリズムは完全に微分可能で、勾配に基づくフィールドの最適化が容易である。
しかし、実際には、光線の小さな不透明な部分だけが、光度の大部分を合計に寄与している。
逆変換サンプリングに基づく単純なエンドツーエンドの微分可能サンプリングアルゴリズムを提案する。
密度場によって引き起こされる確率分布に従ってサンプルを生成し、光線上の非透過点を選択する。
我々はこのアルゴリズムを2つの方法で活用する。
まず,モンテカルロ推定に基づく新しいレンダリング手法を提案する。
このアプローチは、光線当たり数回の放射フィールド呼び出しで、ニューラルネットワークの放射フィールドの評価と最適化を可能にする。
第二に、サンプリングアルゴリズムを用いて、元のNeRF研究で提案された階層的スキームを変更する。
提案手法を改良することにより,階層型モデルの再構築品質が向上すると同時に,補助的提案ネットワーク損失の回避によるトレーニング手順の簡素化が図られる。
関連論文リスト
- Adaptive Shells for Efficient Neural Radiance Field Rendering [92.18962730460842]
本稿では, 表面および表面のレンダリングを円滑に遷移させるニューラル放射率の定式化を提案する。
我々の手法は、非常に高い忠実度で効率的なレンダリングを可能にする。
また,抽出したエンベロープは,アニメーションやシミュレーションなどの下流アプリケーションを可能にすることを示す。
論文 参考訳(メタデータ) (2023-11-16T18:58:55Z) - Efficient Ray Sampling for Radiance Fields Reconstruction [4.004168836949491]
レイサンプリング戦略は ネットワーク収束に大きな影響を与えます
ニューラルレイディアンス場に対する新しいレイサンプリング手法を提案する。
提案手法は,公開ベンチマークデータセットにおける最先端技術よりも優れていた。
論文 参考訳(メタデータ) (2023-08-29T18:11:32Z) - NeFII: Inverse Rendering for Reflectance Decomposition with Near-Field
Indirect Illumination [48.42173911185454]
逆レンダリング手法は、多視点RGB画像から幾何学、材料、照明を推定することを目的としている。
本稿では,多視点画像から材料と照明を分解するエンドツーエンドの逆レンダリングパイプラインを提案する。
論文 参考訳(メタデータ) (2023-03-29T12:05:19Z) - Estimating Neural Reflectance Field from Radiance Field using Tree
Structures [29.431165709718794]
本研究では,物体のニューラルリフレクタンス場(NReF)を,未知の照明下での多視点画像の集合から推定する手法を提案する。
NReFは3次元形状と物体の視認性を表しており、画像のみから推定することは困難である。
提案手法は,Neural Radiance Field (NeRF) をプロキシ表現として利用することでこの問題を解決し,さらに分解を行う。
論文 参考訳(メタデータ) (2022-10-09T10:21:31Z) - AdaNeRF: Adaptive Sampling for Real-time Rendering of Neural Radiance
Fields [8.214695794896127]
新たなビュー合成は、スパース観測から直接神経放射場を学習することで、近年革新されている。
この新たなパラダイムによる画像のレンダリングは、ボリュームレンダリング方程式の正確な4分の1は、各光線に対して大量のサンプルを必要とするため、遅い。
本稿では,必要なサンプル点数を最大限に削減する方法を学習し,方向性を示す新しいデュアルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2022-07-21T05:59:13Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。
提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
論文 参考訳(メタデータ) (2021-12-02T18:59:51Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。
微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。
定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
論文 参考訳(メタデータ) (2021-04-01T09:29:05Z) - Contour Integration using Graph-Cut and Non-Classical Receptive Field [4.935491924643742]
本稿では,他のアルゴリズムのエッジセグメントから画像の輪郭を検出する新しい手法を提案する。
提案したエネルギー関数は、テクスチャノイズを抑制するのに役立つ一次視覚野の周囲変調にインスパイアされている。
論文 参考訳(メタデータ) (2020-10-27T19:07:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。