論文の概要: MVSBoost: An Efficient Point Cloud-based 3D Reconstruction
- arxiv url: http://arxiv.org/abs/2406.13515v2
- Date: Thu, 18 Jul 2024 16:34:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 20:22:33.559557
- Title: MVSBoost: An Efficient Point Cloud-based 3D Reconstruction
- Title(参考訳): MVSBoost: 効率的なポイントクラウドベースの3D再構成
- Authors: Umair Haroon, Ahmad AlMughrabi, Ricardo Marques, Petia Radeva,
- Abstract要約: 拡張現実や仮想現実、医用画像、映画特殊効果など、様々な応用において、効率的で正確な3D再構成が不可欠である。
従来のMulti-View Stereo (MVS) システムはこれらのアプリケーションには基本的だが、暗黙の3次元シーンモデリングは複雑なトポロジや連続面を扱う新しい可能性をもたらした。
- 参考スコア(独自算出の注目度): 4.282795945742752
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Efficient and accurate 3D reconstruction is crucial for various applications, including augmented and virtual reality, medical imaging, and cinematic special effects. While traditional Multi-View Stereo (MVS) systems have been fundamental in these applications, using neural implicit fields in implicit 3D scene modeling has introduced new possibilities for handling complex topologies and continuous surfaces. However, neural implicit fields often suffer from computational inefficiencies, overfitting, and heavy reliance on data quality, limiting their practical use. This paper presents an enhanced MVS framework that integrates multi-view 360-degree imagery with robust camera pose estimation via Structure from Motion (SfM) and advanced image processing for point cloud densification, mesh reconstruction, and texturing. Our approach significantly improves upon traditional MVS methods, offering superior accuracy and precision as validated using Chamfer distance metrics on the Realistic Synthetic 360 dataset. The developed MVS technique enhances the detail and clarity of 3D reconstructions and demonstrates superior computational efficiency and robustness in complex scene reconstruction, effectively handling occlusions and varying viewpoints. These improvements suggest that our MVS framework can compete with and potentially exceed current state-of-the-art neural implicit field methods, especially in scenarios requiring real-time processing and scalability.
- Abstract(参考訳): 拡張現実や仮想現実、医用画像、映画特殊効果など、様々な応用において、効率的で正確な3D再構成が不可欠である。
従来のMulti-View Stereo(MVS)システムはこれらのアプリケーションでは基本的だが、暗黙の3次元シーンモデリングでニューラルな暗黙の場を使用することで、複雑なトポロジや連続した表面を扱う新たな可能性が導入されている。
しかし、ニューラルな暗黙のフィールドは、しばしば計算の非効率さ、過度な適合、データ品質への強い依存に悩まされ、その実用性は制限される。
本稿では、マルチビュー360度画像と、Structure from Motion (SfM)によるロバストカメラポーズ推定と、点雲の密度化、メッシュ再構成、テクスチャ化のための高度な画像処理を統合したMVSフレームワークを提案する。
提案手法は従来の MVS 手法を大幅に改善し,リアルタイム合成360 データセット上での Chamfer 距離測定を用いて,精度と精度が向上した。
開発したMVS技術は、3次元再構成の細部と明度を高め、複雑なシーン再構成において優れた計算効率とロバスト性を示し、オクルージョンと様々な視点を効果的に扱う。
これらの改善は、MVSフレームワークが、特にリアルタイム処理とスケーラビリティを必要とするシナリオにおいて、現在の最先端のニューラル暗黙のフィールドメソッドと競合し、さらに超える可能性があることを示唆している。
関連論文リスト
- MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。
各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
論文 参考訳(メタデータ) (2024-03-29T07:59:37Z) - GGRt: Towards Pose-free Generalizable 3D Gaussian Splatting in Real-time [112.32349668385635]
GGRtは、現実のカメラポーズの必要性を軽減する、一般化可能な新しいビュー合成のための新しいアプローチである。
最初のポーズフリーの一般化可能な3D-GSフレームワークとして、GGRtは$ge$5 FPSで、リアルタイムレンダリングは$ge$100 FPSで実現している。
論文 参考訳(メタデータ) (2024-03-15T09:47:35Z) - Neural Point-based Volumetric Avatar: Surface-guided Neural Points for
Efficient and Photorealistic Volumetric Head Avatar [62.87222308616711]
ニューラルポイント表現とニューラルボリュームレンダリングプロセスを採用したフルネーム(名前)を提案する。
具体的には、ニューラルポイントは高分解能UV変位マップを介してターゲット表現の表面を戦略的に拘束する。
設計上は,アバターをアニメーションする際の正確な表現制御を確保しつつ,地形的に変化する領域や細い構造を扱えるように設計されている。
論文 参考訳(メタデータ) (2023-07-11T03:40:10Z) - MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from
Sparse Images [21.811067296567252]
本研究では,高忠実度乾燥可能な顔アバターを再構成し,目に見えない表情を処理できる新しいフレームワークを提案する。
実装の核となるのは、構造化変位特徴と意味認識学習モジュールです。
我々の手法は現在の最先端技術よりもはるかに優れた結果が得られる。
論文 参考訳(メタデータ) (2023-06-17T13:49:56Z) - Enhancing Neural Rendering Methods with Image Augmentations [59.00067936686825]
本研究では,3次元シーンの学習型ニューラルレンダリング法(NRM)における画像拡張の利用について検討した。
トレーニング中に画像拡張を導入すると、幾何学的および測光的不整合などの課題が生じる。
本実験は,NRMの学習において,光学的品質向上や表面再構成など,拡張を取り入れることの利点を実証するものである。
論文 参考訳(メタデータ) (2023-06-15T07:18:27Z) - Multi-View Photometric Stereo Revisited [100.97116470055273]
多視点測光ステレオ(MVPS)は、画像から被写体を詳細に正確に3D取得する方法として好まれる。
MVPSは異方性や光沢などの他の対象物質と同様に,等方性に対しても有効である。
提案手法は、複数のベンチマークデータセットで広範囲にテストした場合に、最先端の結果を示す。
論文 参考訳(メタデータ) (2022-10-14T09:46:15Z) - End-to-End Multi-View Structure-from-Motion with Hypercorrelation
Volumes [7.99536002595393]
この問題に対処するために深層学習技術が提案されている。
我々は現在最先端の2次元構造であるSfM(SfM)のアプローチを改善している。
一般的なマルチビューのケースに拡張し、複雑なベンチマークデータセットDTUで評価する。
論文 参考訳(メタデータ) (2022-09-14T20:58:44Z) - Neural 3D Reconstruction in the Wild [86.6264706256377]
そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。
そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
論文 参考訳(メタデータ) (2022-05-25T17:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。