論文の概要: Differentiable Rendering with Reparameterized Volume Sampling

• arxiv url: http://arxiv.org/abs/2302.10970v3
• Date: Sat, 2 Mar 2024 00:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 21:13:04.331259
• Title: Differentiable Rendering with Reparameterized Volume Sampling
• Title（参考訳）: 再パラメータ化ボリュームサンプリングによる微分レンダリング
• Authors: Nikita Morozov, Denis Rakitin, Oleg Desheulin, Dmitry Vetrov, Kirill Struminsky
• Abstract要約: ビュー合成において、ニューラルネットワークは、シーン画像のスパースセットに基づいて、基礎となる密度と放射場を近似する。 このレンダリングアルゴリズムは、完全に微分可能であり、フィールドの勾配に基づく最適化を容易にする。 逆変換サンプリングに基づく単純なエンドツーエンドの微分可能サンプリングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 2.717399369766309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In view synthesis, a neural radiance field approximates underlying density and radiance fields based on a sparse set of scene pictures. To generate a pixel of a novel view, it marches a ray through the pixel and computes a weighted sum of radiance emitted from a dense set of ray points. This rendering algorithm is fully differentiable and facilitates gradient-based optimization of the fields. However, in practice, only a tiny opaque portion of the ray contributes most of the radiance to the sum. We propose a simple end-to-end differentiable sampling algorithm based on inverse transform sampling. It generates samples according to the probability distribution induced by the density field and picks non-transparent points on the ray. We utilize the algorithm in two ways. First, we propose a novel rendering approach based on Monte Carlo estimates. This approach allows for evaluating and optimizing a neural radiance field with just a few radiance field calls per ray. Second, we use the sampling algorithm to modify the hierarchical scheme proposed in the original NeRF work. We show that our modification improves reconstruction quality of hierarchical models, at the same time simplifying the training procedure by removing the need for auxiliary proposal network losses.
• Abstract（参考訳）: ビュー合成において、ニューラルネットワークは、シーン画像のスパースセットに基づいて、基礎となる密度と放射場を近似する。 新規なビューの画素を生成するには、画素を通して光線を移動させ、高濃度の光点から放射される放射率の重み付け和を計算する。 このレンダリングアルゴリズムは完全に微分可能で、勾配に基づくフィールドの最適化が容易である。 しかし、実際には、光線の小さな不透明な部分だけが、光度の大部分を合計に寄与している。 逆変換サンプリングに基づく単純なエンドツーエンドの微分可能サンプリングアルゴリズムを提案する。 密度場によって引き起こされる確率分布に従ってサンプルを生成し、光線上の非透過点を選択する。 我々はこのアルゴリズムを2つの方法で活用する。 まず,モンテカルロ推定に基づく新しいレンダリング手法を提案する。 このアプローチは、光線当たり数回の放射フィールド呼び出しで、ニューラルネットワークの放射フィールドの評価と最適化を可能にする。 第二に、サンプリングアルゴリズムを用いて、元のNeRF研究で提案された階層的スキームを変更する。 提案手法を改良することにより,階層型モデルの再構築品質が向上すると同時に,補助的提案ネットワーク損失の回避によるトレーニング手順の簡素化が図られる。

関連論文リスト

• Flash Cache: Reducing Bias in Radiance Cache Based Inverse Rendering [62.92985004295714]
  本稿では,レンダリングに偏りをもたらす近似を回避し,最適化に用いた勾配を求める手法を提案する。 これらのバイアスを除去することで、逆レンダリングに基づくレーダランスキャッシュの一般化が向上し、スペクトル反射のような光輸送効果に挑戦する際の品質が向上することを示す。
  論文  参考訳（メタデータ） (2024-09-09T17:59:57Z)
• RayGauss: Volumetric Gaussian-Based Ray Casting for Photorealistic Novel View Synthesis [3.4341938551046227]
  微分レンダリング法は、新しいビュー合成に大きな進歩をもたらした。 不規則分布ガウスの異なる光線鋳造のための放射放射率cと密度シグマを一貫した定式化を行う。 適切なトレーニング時間を維持しつつ、Blenderデータセット上で25FPSの推論速度を達成しながら、最先端のレンダリングよりも優れた品質を実現する。
  論文  参考訳（メタデータ） (2024-08-06T10:59:58Z)
• CVT-xRF: Contrastive In-Voxel Transformer for 3D Consistent Radiance Fields from Sparse Inputs [65.80187860906115]
  スパース入力によるNeRFの性能向上のための新しい手法を提案する。 まず, サンプル線が, 3次元空間内の特定のボクセルと交差することを保証するために, ボクセルを用いた放射線サンプリング戦略を採用する。 次に、ボクセル内の追加点をランダムにサンプリングし、トランスフォーマーを適用して各線上の他の点の特性を推測し、ボリュームレンダリングに組み込む。
  論文  参考訳（メタデータ） (2024-03-25T15:56:17Z)
• Neural Fields with Thermal Activations for Arbitrary-Scale Super-Resolution [56.089473862929886]
  本稿では,適応型ガウスPSFを用いて点を問合せできる新しい設計手法を提案する。 理論的に保証されたアンチエイリアスにより、任意のスケールの単一画像の超解像のための新しい手法が確立される。
  論文  参考訳（メタデータ） (2023-11-29T14:01:28Z)
• Adaptive Shells for Efficient Neural Radiance Field Rendering [92.18962730460842]
  本稿では, 表面および表面のレンダリングを円滑に遷移させるニューラル放射率の定式化を提案する。 我々の手法は、非常に高い忠実度で効率的なレンダリングを可能にする。 また,抽出したエンベロープは,アニメーションやシミュレーションなどの下流アプリケーションを可能にすることを示す。
  論文  参考訳（メタデータ） (2023-11-16T18:58:55Z)
• Efficient Ray Sampling for Radiance Fields Reconstruction [4.004168836949491]
  レイサンプリング戦略は ネットワーク収束に大きな影響を与えます ニューラルレイディアンス場に対する新しいレイサンプリング手法を提案する。 提案手法は,公開ベンチマークデータセットにおける最先端技術よりも優れていた。
  論文  参考訳（メタデータ） (2023-08-29T18:11:32Z)
• Estimating Neural Reflectance Field from Radiance Field using Tree Structures [29.431165709718794]
  本研究では,物体のニューラルリフレクタンス場(NReF)を,未知の照明下での多視点画像の集合から推定する手法を提案する。 NReFは3次元形状と物体の視認性を表しており、画像のみから推定することは困難である。 提案手法は,Neural Radiance Field (NeRF) をプロキシ表現として利用することでこの問題を解決し,さらに分解を行う。
  論文  参考訳（メタデータ） (2022-10-09T10:21:31Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Efficient and Differentiable Shadow Computation for Inverse Problems [64.70468076488419]
  微分可能幾何計算は画像に基づく逆問題に対する関心が高まっている。 微分可能な可視性とソフトシャドウ計算のための効率的かつ効率的なアプローチを提案する。 定式化は微分可能であるため, テクスチャ, 照明, 剛体ポーズ, 画像からの変形回復などの逆問題を解くために使用できる。
  論文  参考訳（メタデータ） (2021-04-01T09:29:05Z)
• Contour Integration using Graph-Cut and Non-Classical Receptive Field [4.935491924643742]
  本稿では,他のアルゴリズムのエッジセグメントから画像の輪郭を検出する新しい手法を提案する。 提案したエネルギー関数は、テクスチャノイズを抑制するのに役立つ一次視覚野の周囲変調にインスパイアされている。
  論文  参考訳（メタデータ） (2020-10-27T19:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。