論文の概要: Differentiable Rendering of Neural SDFs through Reparameterization
- arxiv url: http://arxiv.org/abs/2206.05344v1
- Date: Fri, 10 Jun 2022 20:30:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-19 14:01:33.083703
- Title: Differentiable Rendering of Neural SDFs through Reparameterization
- Title(参考訳): リパラメータ化によるニューラルSDFの微分レンダリング
- Authors: Sai Praveen Bangaru, Micha\"el Gharbi, Tzu-Mao Li, Fujun Luan, Kalyan
Sunkavalli, Milo\v{s} Ha\v{s}an, Sai Bi, Zexiang Xu, Gilbert Bernstein and
Fr\'edo Durand
- Abstract要約: ニューラルSDFにおける幾何学的シーンパラメータに対する正しい勾配を自動的に計算する手法を提案する。
提案手法は,地域サンプリング技術に基づいて,不連続性を考慮した連続的なワーピング機能を開発する。
我々の微分可能法は、多視点画像からの神経形状を最適化し、同等の3D再構成を生成できる。
- 参考スコア(独自算出の注目度): 32.47993049026182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a method to automatically compute correct gradients with respect
to geometric scene parameters in neural SDF renderers. Recent physically-based
differentiable rendering techniques for meshes have used edge-sampling to
handle discontinuities, particularly at object silhouettes, but SDFs do not
have a simple parametric form amenable to sampling. Instead, our approach
builds on area-sampling techniques and develops a continuous warping function
for SDFs to account for these discontinuities. Our method leverages the
distance to surface encoded in an SDF and uses quadrature on sphere tracer
points to compute this warping function. We further show that this can be done
by subsampling the points to make the method tractable for neural SDFs. Our
differentiable renderer can be used to optimize neural shapes from multi-view
images and produces comparable 3D reconstructions to recent SDF-based inverse
rendering methods, without the need for 2D segmentation masks to guide the
geometry optimization and no volumetric approximations to the geometry.
- Abstract(参考訳): ニューラルSDFレンダラーにおける幾何学的シーンパラメータに対して,正確な勾配を自動的に計算する手法を提案する。
近年のメッシュの物理的に微分可能なレンダリング技術は、特にオブジェクトシルエットにおける不連続性を扱うためにエッジサンプリングを用いているが、SDFはサンプリング可能な単純なパラメトリック形式を持っていない。
その代わり,本手法は地域サンプリング技術に基づいて,これらの不連続性を考慮に入れたSDFの継続的なワープ機能を開発する。
提案手法は,SDFで符号化された表面への距離を利用して,球面トレーサ点の次数を用いて,このワープ関数を計算する。
さらに,この手法を神経性SDFに適用できるように,点をサブサンプリングすることで実現可能であることを示す。
我々の微分可能なレンダラは、幾何最適化をガイドする2次元セグメンテーションマスクを必要とせずに、多視点画像からニューラル形状を最適化し、最近のSDFベースの逆レンダリング手法に匹敵する3次元再構成を生成することができる。
関連論文リスト
- Differentiable Point-based Inverse Rendering [11.112091693344354]
DPIR(DPIR)は、様々な照明下で撮影された画像を解析・合成し、形状と空間変化のBRDFを推定する手法である。
我々は、幾何学のためのハイブリッドな点-体積表現と反射率のための正規化された基底-BRDF表現を考案する。
本評価は,DPIRの再現精度,計算効率,メモリフットプリントにおいて,従来の作業よりも優れていたことを示す。
論文 参考訳(メタデータ) (2023-12-05T04:13:31Z) - Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。
我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
論文 参考訳(メタデータ) (2023-09-19T05:44:00Z) - Differentiable Rendering for Pose Estimation in Proximity Operations [4.282159812965446]
微分レンダリングは、レンダリングパラメータに関する画像レンダリング関数の微分を計算することを目的としている。
本稿では,6-DoFポーズ推定のための新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-24T06:12:16Z) - NeuralUDF: Learning Unsigned Distance Fields for Multi-view
Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。
本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
論文 参考訳(メタデータ) (2022-11-25T15:21:45Z) - IRON: Inverse Rendering by Optimizing Neural SDFs and Materials from
Photometric Images [52.021529273866896]
我々は、光メトリック画像を操作し、高品質な3Dコンテンツを出力するIRONと呼ばれるニューラルネットワーク逆レンダリングパイプラインを提案する。
提案手法は, 符号付き距離場 (SDF) と材料として, その柔軟性とコンパクトさを享受するために, 形状のニューラル表現を最適化中に採用する。
我々のIRONは、以前の作品に比べて、逆レンダリング品質が大幅に向上していることが示される。
論文 参考訳(メタデータ) (2022-04-05T14:14:18Z) - Implicit Neural Deformation for Multi-View Face Reconstruction [43.88676778013593]
マルチビューRGB画像から新しい3次元顔再構成法を提案する。
従来の3次元形態素モデルに基づく手法とは異なり,本手法は暗黙の表現を利用してリッチな幾何学的特徴を符号化する。
いくつかのベンチマークデータセットに対する実験結果から,提案手法は代替ベースラインよりも優れ,最先端の手法に比べて優れた顔再構成結果が得られることが示された。
論文 参考訳(メタデータ) (2021-12-05T07:02:53Z) - Gradient-SDF: A Semi-Implicit Surface Representation for 3D
Reconstruction [53.315347543761426]
Gradient-SDFは、暗黙的表現と明示的表現の利点を組み合わせた3次元幾何学の新しい表現である。
すべてのボクセルに符号付き距離場とその勾配ベクトル場を格納することにより、暗黙表現の能力を高める。
本研究では,(1)グラディエント・SDFは,ハッシュマップなどの効率的な記憶方式を用いて,深度画像からの直接SDF追跡を行うことができ,(2)グラディエント・SDF表現はボクセル表現で直接光度バンドル調整を行うことができることを示す。
論文 参考訳(メタデータ) (2021-11-26T18:33:14Z) - Differentiable Surface Rendering via Non-Differentiable Sampling [19.606523934811577]
本稿では,明暗表現と暗示表現の両方をサポートする3次元曲面の微分可能レンダリング法を提案する。
ニューラルレイディアンス場(NeRF)から抽出したアイソの高速で微分可能なレンダリングを初めて示し, ボリュームベースではなく, 表面ベースでNeRFのレンダリングを実証した。
論文 参考訳(メタデータ) (2021-08-10T19:25:06Z) - Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D
Shapes [77.6741486264257]
本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。
我々の表現は、以前の作品に比べてレンダリング速度の点で2~3桁の効率であることを示す。
論文 参考訳(メタデータ) (2021-01-26T18:50:22Z) - Geometric Correspondence Fields: Learned Differentiable Rendering for 3D
Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。
このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。
我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文 参考訳(メタデータ) (2020-07-17T12:34:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。