論文の概要: Neural RGB-D Surface Reconstruction
- arxiv url: http://arxiv.org/abs/2104.04532v1
- Date: Fri, 9 Apr 2021 18:00:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-13 14:17:56.871795
- Title: Neural RGB-D Surface Reconstruction
- Title(参考訳): ニューラルRGB-D表面再構成
- Authors: Dejan Azinovi\'c, Ricardo Martin-Brualla, Dan B Goldman, Matthias
Nie{\ss}ner, Justus Thies
- Abstract要約: 神経放射場を学習する手法は驚くべき画像合成結果を示しているが、基礎となる幾何学表現は実際の幾何学の粗い近似にすぎない。
本研究では, より詳細な再現結果を得るために, 深度測定を放射場定式化に組み込む方法を示す。
- 参考スコア(独自算出の注目度): 15.438678277705424
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we explore how to leverage the success of implicit novel view
synthesis methods for surface reconstruction. Methods which learn a neural
radiance field have shown amazing image synthesis results, but the underlying
geometry representation is only a coarse approximation of the real geometry. We
demonstrate how depth measurements can be incorporated into the radiance field
formulation to produce more detailed and complete reconstruction results than
using methods based on either color or depth data alone. In contrast to a
density field as the underlying geometry representation, we propose to learn a
deep neural network which stores a truncated signed distance field. Using this
representation, we show that one can still leverage differentiable volume
rendering to estimate color values of the observed images during training to
compute a reconstruction loss. This is beneficial for learning the signed
distance field in regions with missing depth measurements. Furthermore, we
correct misalignment errors of the camera, improving the overall reconstruction
quality. In several experiments, we showcase our method and compare to existing
works on classical RGB-D fusion and learned representations.
- Abstract(参考訳): 本研究では,表面再構成のための暗黙の新規ビュー合成手法を成功させる方法について検討する。
神経放射場を学習する手法は驚くべき画像合成結果を示しているが、基礎となる幾何学表現は実際の幾何学の粗い近似にすぎない。
色と深度データのみに基づく手法よりも詳細な再現結果を得るため, 放射場定式化に深度測定をどのように組み込むことができるかを示す。
密度場を基盤とする幾何表現とは対照的に,符号付き距離場を格納するディープニューラルネットワークを学習することを提案する。
この表現を用いて,学習中の観察画像の色値を推定し,再現損失を計算するために,相変わらず可変ボリュームレンダリングを利用することができることを示す。
これは、深度測定の欠如のある地域で符号付き距離場を学ぶのに有用である。
さらに,カメラの誤調整誤差を補正し,全体の復元精度を向上する。
いくつかの実験で本手法を示し,従来のrgb-d融合と学習表現の比較を行った。
関連論文リスト
- ANIM: Accurate Neural Implicit Model for Human Reconstruction from a single RGB-D image [40.03212588672639]
ANIMは単視点RGB-D画像から任意の3次元形状を前例のない精度で再構成する新しい手法である。
我々のモデルは、深度情報を活用するためにピクセル整列とボクセル整列の両方の機能から幾何学的詳細を学習する。
実験によると、ANIMはRGB、表面正規、ポイントクラウド、RGB-Dデータを入力として使用する最先端の作業よりも優れている。
論文 参考訳(メタデータ) (2024-03-15T14:45:38Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - Depth-NeuS: Neural Implicit Surfaces Learning for Multi-view
Reconstruction Based on Depth Information Optimization [6.493546601668505]
ニュートラルサーフェス表現とレンダリングの方法、例えばNeuSは、ボリュームレンダリングを通じてニュートラルサーフェスを学習することがますます人気になっていることを示した。
既存の手法では深度情報の直接表現が欠けているため、幾何学的特徴によって物体の再構成が制限されない。
これは、既存の手法では、深度情報を使わずに表面の正規表現しか使わないためである。
多視点再構成のための深度情報最適化に基づくDepth-NeuSと呼ばれる暗黙曲面学習手法を提案する。
論文 参考訳(メタデータ) (2023-03-30T01:19:27Z) - NeuralUDF: Learning Unsigned Distance Fields for Multi-view
Reconstruction of Surfaces with Arbitrary Topologies [87.06532943371575]
本稿では2次元画像からボリュームレンダリングにより任意の位相で表面を再構成する新しい手法であるNeuralUDFを提案する。
本稿では,表面をUDF(Unsigned Distance Function)として表現し,ニューラルUDF表現を学習するための新しいボリュームレンダリング手法を提案する。
論文 参考訳(メタデータ) (2022-11-25T15:21:45Z) - Neural Implicit Surface Reconstruction using Imaging Sonar [38.73010653104763]
画像ソナー(FLS)を用いた物体の高密度3次元再構成手法を提案する。
シーン幾何を点雲や体積格子としてモデル化する従来の手法と比較して、幾何をニューラル暗黙関数として表現する。
我々は,実データと合成データを用いて実験を行い,本アルゴリズムは,従来よりも高精細なFLS画像から高精細な表面形状を再構成し,それに伴うメモリオーバーヘッドに悩まされることを実証した。
論文 参考訳(メタデータ) (2022-09-17T02:23:09Z) - Multi-View Reconstruction using Signed Ray Distance Functions (SRDF) [22.75986869918975]
本稿では,体積の新たな形状表現に基づく新しい計算手法について検討する。
この表現に関連する形状エネルギーは、与えられたカラー画像の3次元形状を評価し、外観予測を必要としない。
実際には、カメラ線に沿った深さによってパラメータ化される符号付き距離に基づいて、暗黙の形状表現であるSRDFを提案する。
論文 参考訳(メタデータ) (2022-08-31T19:32:17Z) - Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering [57.775678643512435]
光場レンダリングのためのGeo-NI(Geometry-aware Neural Interpolation)フレームワークを提案する。
NIとDIBRの優位性を組み合わせることで、提案したGeo-NIは、大きな差異でビューをレンダリングすることができる。
論文 参考訳(メタデータ) (2022-06-20T12:25:34Z) - Learning Signed Distance Field for Multi-view Surface Reconstruction [24.090786783370195]
ステレオマッチングと特徴整合性の知識を生かした新しいニューラルネットワーク表面再構成フレームワークを提案する。
サインされた距離場(SDF)と表面光場(SDF)をそれぞれ、シーン形状と外観を表すために適用する。
本手法は,地形推定のロバスト性を向上し,複雑なシーントポロジの再構築を支援する。
論文 参考訳(メタデータ) (2021-08-23T06:23:50Z) - Volume Rendering of Neural Implicit Surfaces [57.802056954935495]
本稿では,ニューラルボリュームレンダリングにおける幾何学的表現と再構成を改善することを目的とする。
体積密度を幾何学の関数としてモデル化することで実現する。
この新たな密度表現を挑戦的なシーンマルチビューデータセットに適用することで、高品質な幾何学的再構成を実現した。
論文 参考訳(メタデータ) (2021-06-22T20:23:16Z) - Learning Topology from Synthetic Data for Unsupervised Depth Completion [66.26787962258346]
画像から高密度深度マップとスパース深度測定を推定する手法を提案する。
我々は,疎点雲と密度の高い自然形状の関係を学習し,その画像を用いて予測深度マップの検証を行う。
論文 参考訳(メタデータ) (2021-06-06T00:21:12Z) - DeepSurfels: Learning Online Appearance Fusion [77.59420353185355]
DeepSurfelsは、ジオメトリと外観情報のための新しいハイブリッドシーン表現です。
確立された表現とは対照的に、DeepSurfelsは高周波テクスチャをよりよく表現する。
私たちはエンドツーエンドのトレーニング可能なオンライン外観融合パイプラインを提示します。
論文 参考訳(メタデータ) (2020-12-28T14:13:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。