論文の概要: Geometry-Guided Ray Augmentation for Neural Surface Reconstruction with
Sparse Views
- arxiv url: http://arxiv.org/abs/2310.05483v4
- Date: Thu, 7 Mar 2024 16:35:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 17:46:16.431005
- Title: Geometry-Guided Ray Augmentation for Neural Surface Reconstruction with
Sparse Views
- Title(参考訳): スパースビューを用いた神経表面再構成のための幾何誘導線増補法
- Authors: Jiawei Yao and Chen Wang and Tong Wu and Chuming Li
- Abstract要約: スパース多視点画像から3次元シーンとオブジェクトを再構成する新しい手法を提案する。
提案手法はRay Augmentation(RayAug)と呼ばれ,事前トレーニングを必要とせず,DTUおよびBlenderデータセット上で優れた結果が得られる。
- 参考スコア(独自算出の注目度): 11.879175599630859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a novel method for 3D scene and object
reconstruction from sparse multi-view images. Different from previous methods
that leverage extra information such as depth or generalizable features across
scenes, our approach leverages the scene properties embedded in the multi-view
inputs to create precise pseudo-labels for optimization without any prior
training. Specifically, we introduce a geometry-guided approach that improves
surface reconstruction accuracy from sparse views by leveraging spherical
harmonics to predict the novel radiance while holistically considering all
color observations for a point in the scene. Also, our pipeline exploits proxy
geometry and correctly handles the occlusion in generating the pseudo-labels of
radiance, which previous image-warping methods fail to avoid. Our method,
dubbed Ray Augmentation (RayAug), achieves superior results on DTU and Blender
datasets without requiring prior training, demonstrating its effectiveness in
addressing the problem of sparse view reconstruction. Our pipeline is flexible
and can be integrated into other implicit neural reconstruction methods for
sparse views.
- Abstract(参考訳): 本稿では,スパース多視点画像からの3次元シーンとオブジェクト再構成の新たな手法を提案する。
シーン間の奥行きや一般化などの付加的な情報を利用する従来の方法とは異なり,マルチビュー入力に埋め込まれたシーンプロパティを活用して,事前のトレーニングなしに最適化のための正確な擬似ラベルを作成する。
具体的には,球面高調波を利用して新しい放射能を予測し,シーン内の点に対するすべての色観測を確率的に考慮しながら,疎視による表面再構成精度を向上させる幾何誘導手法を提案する。
また,このパイプラインはプロキシジオメトリを活用し,従来の画像ウォーピング手法では回避できなかった放射能の擬似ラベルを生成する際に,オクルージョンを正しく処理する。
Ray Augmentation (RayAug) と呼ばれるこの手法は、事前トレーニングを必要とせず、DTUおよびBlenderデータセット上で優れた結果を得ることができ、スパースビュー再構成の問題に対処する効果を実証することができる。
私たちのパイプラインは柔軟で、スパースビューのための他の暗黙的な神経再構成方法に統合できます。
関連論文リスト
- NeuSurf: On-Surface Priors for Neural Surface Reconstruction from Sparse
Input Views [41.03837477483364]
本研究では,表面の高度に忠実な再構成を実現するために,地上の事前情報を活用する新しいスパース・ビュー・リコンストラクション・フレームワークを提案する。
具体的には,大域的幾何アライメントと局所的幾何洗練に関するいくつかの制約を設計し,粗い形状と細部を協調的に最適化する。
DTUとBlendedMVSデータセットによる2つの一般的なスパース設定の実験結果は、最先端の手法よりも大幅に改善されたことを示している。
論文 参考訳(メタデータ) (2023-12-21T16:04:45Z) - Improved Neural Radiance Fields Using Pseudo-depth and Fusion [18.088617888326123]
マルチスケール符号化ボリュームの構築とNeRFモデルへのマルチスケール幾何情報の提供を提案する。
シーン内の被写体表面と描画深度をより正確に近づけるために, 同時に深度予測と放射場再構成を行うことを提案する。
論文 参考訳(メタデータ) (2023-07-27T17:01:01Z) - Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。
スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。
対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
論文 参考訳(メタデータ) (2023-04-17T17:40:52Z) - VolRecon: Volume Rendering of Signed Ray Distance Functions for
Generalizable Multi-View Reconstruction [64.09702079593372]
VolRecon は Signed Ray Distance Function (SRDF) を用いた新しい一般化可能な暗黙的再構成法である
DTUデータセットでは、VolReconはスパースビュー再構築においてSparseNeuSを約30%上回り、フルビュー再構築においてMVSNetと同等の精度を達成する。
論文 参考訳(メタデータ) (2022-12-15T18:59:54Z) - Multi-View Mesh Reconstruction with Neural Deferred Shading [0.8514420632209809]
最先端の手法では、ニューラルサーフェス表現とニューラルシェーディングの両方を用いる。
曲面を三角形メッシュとして表現し、三角形の描画とニューラルシェーディングを中心に、微分可能なレンダリングパイプラインを構築します。
パブリックな3次元再構成データセットを用いてランタイムの評価を行い、最適化において従来のベースラインの復元精度を上回りながら、従来のベースラインの再構築精度に適合できることを示す。
論文 参考訳(メタデータ) (2022-12-08T16:29:46Z) - MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface
Reconstruction [72.05649682685197]
最先端のニューラル暗黙法は、多くの入力ビューから単純なシーンの高品質な再構築を可能にする。
これは主に、十分な制約を提供していないRGB再構築損失の固有の曖昧さによって引き起こされる。
近年の単分子形状予測の分野での進歩に触発され, ニューラルな暗黙的表面再構成の改善にこれらの方法が役立つかを探究する。
論文 参考訳(メタデータ) (2022-06-01T17:58:15Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳(メタデータ) (2021-11-24T13:58:20Z) - Point-Based Neural Rendering with Per-View Optimization [5.306819482496464]
入力ビューの空間におけるシーン特性のさらなる最適化を実現するため,MVSを用いた一般的な手法を提案する。
このアプローチの重要な要素は、新しい差別化可能なポイントベースパイプラインです。
私たちはこれらの要素をニューラルネットワークで組み合わせることで、テストしたほぼすべてのシーンにおいて、品質とスピードの両方で従来の方法よりも優れています。
論文 参考訳(メタデータ) (2021-09-06T11:19:31Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2020-03-27T21:28:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。