論文の概要: VolRecon: Volume Rendering of Signed Ray Distance Functions for
Generalizable Multi-View Reconstruction
- arxiv url: http://arxiv.org/abs/2212.08067v1
- Date: Thu, 15 Dec 2022 18:59:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-16 17:17:40.993897
- Title: VolRecon: Volume Rendering of Signed Ray Distance Functions for
Generalizable Multi-View Reconstruction
- Title(参考訳): VolRecon: 一般化可能な多視点再構成のための符号付き距離関数のボリュームレンダリング
- Authors: Yufan Ren, Fangjinhua Wang, Tong Zhang, Marc Pollefeys and Sabine
S\"usstrunk
- Abstract要約: VolRecon は Signed Ray Distance Function (SRDF) を用いた一般化可能な暗黙的再構成法である
SparseNeuSはスパースビュー再構成で約30%,フルビュー再構成ではMVSNetに匹敵する品質を実現している。
- 参考スコア(独自算出の注目度): 64.09702079593372
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the success of neural volume rendering in novel view synthesis, neural
implicit reconstruction with volume rendering has become popular. However, most
methods optimize per-scene functions and are unable to generalize to novel
scenes. We introduce VolRecon, a generalizable implicit reconstruction method
with Signed Ray Distance Function (SRDF). To reconstruct with fine details and
little noise, we combine projection features, aggregated from multi-view
features with a view transformer, and volume features interpolated from a
coarse global feature volume. A ray transformer computes SRDF values of all the
samples along a ray to estimate the surface location, which are used for volume
rendering of color and depth. Extensive experiments on DTU and ETH3D
demonstrate the effectiveness and generalization ability of our method. On DTU,
our method outperforms SparseNeuS by about 30% in sparse view reconstruction
and achieves comparable quality as MVSNet in full view reconstruction. Besides,
our method shows good generalization ability on the large-scale ETH3D
benchmark. Project page: https://fangjinhuawang.github.io/VolRecon.
- Abstract(参考訳): ニューラルボリュームレンダリングの新たなビュー合成の成功により、ボリュームレンダリングによるニューラル暗黙的再構成が普及している。
しかし、ほとんどの方法はシーン毎の関数を最適化し、新しいシーンに一般化できない。
本稿では,SRDF(Signed Ray Distance Function)を用いた一般化可能な暗黙的再構成手法であるVolReconを紹介する。
細部とノイズが少なく再構成するために,多視点特徴から集約された投影特徴とビュートランス,粗いグローバル特徴量から補間されたボリューム特徴を組み合わせる。
線変換器は、すべての試料のSRDF値を線に沿って計算し、色と深さのボリュームレンダリングに使用される表面位置を推定する。
DTUとETH3Dの大規模な実験により,本手法の有効性と一般化能力が示された。
DTUではスパースNeuSを約30%向上させ,フルビューでMVSNetに匹敵する品質を実現している。
さらに,提案手法は大規模ETH3Dベンチマークにおいて優れた一般化能力を示す。
プロジェクトページ: https://fangjinhuawang.github.io/volrecon。
関連論文リスト
- PVP-Recon: Progressive View Planning via Warping Consistency for Sparse-View Surface Reconstruction [49.7580491592023]
PVP-Recon, 新規かつ効果的なスパースビュー表面再構成法を提案する。
PVP-Reconは3つのビューで初期表面の再構築を開始し、徐々に新しいビューを追加する。
このプログレッシブビュー計画の進捗は、神経SDFベースの再構築モジュールによってインターリーブされる。
論文 参考訳(メタデータ) (2024-09-09T10:06:34Z) - UniSDF: Unifying Neural Representations for High-Fidelity 3D
Reconstruction of Complex Scenes with Reflections [92.38975002642455]
大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。
提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
論文 参考訳(メタデータ) (2023-12-20T18:59:42Z) - ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。
提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。
本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
論文 参考訳(メタデータ) (2023-12-05T18:59:58Z) - RNb-NeuS: Reflectance and Normal-based Multi-View 3D Reconstruction [3.1820300989695833]
本稿では,光度ステレオにより得られる多視点反射率と正規写像を統合するための多目的パラダイムを提案する。
提案手法では, 反射率と正規度の画素ワイドな共同パラメータ化を, 放射光のベクトルとして用いた。
これは、高い曲率または低い視認性を持つ領域の詳細な3D再構成を大幅に改善する。
論文 参考訳(メタデータ) (2023-12-02T19:49:27Z) - ReTR: Modeling Rendering Via Transformer for Generalizable Neural
Surface Reconstruction [24.596408773471477]
レコンストラクションTRansformer (ReTR) は、トランスフォーマーアーキテクチャをレンダリングプロセスに活用する新しいフレームワークである。
色空間ではなく高次元の特徴空間内で操作することで、ReTRはソースビューの投影色に対する感度を緩和する。
論文 参考訳(メタデータ) (2023-05-30T08:25:23Z) - Sphere-Guided Training of Neural Implicit Surfaces [14.882607960908217]
3次元再構成では、光線マーチングにより訓練された神経距離関数が多視点3次元再構成に広く採用されている。
しかし、これらの手法はシーン全体に対してレイマーチング法を適用し、サンプリング効率を低下させる。
暗黙の関数と新しい粗い球面をベースとした表面再構成を共同で行うことでこの問題に対処する。
論文 参考訳(メタデータ) (2022-09-30T15:00:03Z) - BNV-Fusion: Dense 3D Reconstruction using Bi-level Neural Volume Fusion [85.24673400250671]
ニューラル・ボリューム・フュージョン (BNV-Fusion) は, ニューラル・暗黙表現とニューラル・レンダリングの最近の進歩を活用して高密度3次元再構成を行う。
新しい深度マップをグローバルな暗黙的表現に漸進的に統合するために、我々は新しい二段階融合戦略を提案する。
提案手法を定量的に定性的に評価し,既存手法よりも有意な改善を示した。
論文 参考訳(メタデータ) (2022-04-03T19:33:09Z) - PERF: Performant, Explicit Radiance Fields [1.933681537640272]
放射場に基づく画像に基づく3次元再構成手法を提案する。
体積再構成の問題は非線形最小二乗問題として定式化され、ニューラルネットワークを使わずに明示的に解かれる。
論文 参考訳(メタデータ) (2021-12-10T15:29:00Z) - MVSNeRF: Fast Generalizable Radiance Field Reconstruction from
Multi-View Stereo [52.329580781898116]
MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。
高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2021-03-29T13:15:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。