論文の概要: SiLVR: Scalable Lidar-Visual Radiance Field Reconstruction with Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2502.02657v1
- Date: Tue, 04 Feb 2025 19:00:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-06 14:26:40.640957
- Title: SiLVR: Scalable Lidar-Visual Radiance Field Reconstruction with Uncertainty Quantification
- Title（参考訳）: SiLVR:不確実性量子化によるスケーラブルライダー・ビジュアル放射場再構成
- Authors: Yifu Tao, Maurice Fallon,
- Abstract要約: 本稿では,ライダーと視覚データを融合したNeRFを用いた大規模再構成システムを提案する。
我々のシステムは、ライダーを付加的に組み込むために最先端のNeRF表現を採用する。
ロボット搭載型とハンドヘルド型の両方のスキャニング実験において,マルチカメラ・ライダーセンサ・スイートを用いた再構築システムを実証した。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: We present a neural radiance field (NeRF) based large-scale reconstruction system that fuses lidar and vision data to generate high-quality reconstructions that are geometrically accurate and capture photorealistic texture. Our system adopts the state-of-the-art NeRF representation to additionally incorporate lidar. Adding lidar data adds strong geometric constraints on the depth and surface normals, which is particularly useful when modelling uniform texture surfaces which contain ambiguous visual reconstruction cues. Furthermore, we estimate the epistemic uncertainty of the reconstruction as the spatial variance of each point location in the radiance field given the sensor observations from camera and lidar. This enables the identification of areas that are reliably reconstructed by each sensor modality, allowing the map to be filtered according to the estimated uncertainty. Our system can also exploit the trajectory produced by a real-time pose-graph lidar SLAM system during online mapping to bootstrap a (post-processed) Structure-from-Motion (SfM) reconstruction procedure reducing SfM training time by up to 70%. It also helps to properly constrain the overall metric scale which is essential for the lidar depth loss. The globally-consistent trajectory can then be divided into submaps using Spectral Clustering to group sets of co-visible images together. This submapping approach is more suitable for visual reconstruction than distance-based partitioning. Each submap is filtered according to point-wise uncertainty estimates and merged to obtain the final large-scale 3D reconstruction. We demonstrate the reconstruction system using a multi-camera, lidar sensor suite in experiments involving both robot-mounted and handheld scanning. Our test datasets cover a total area of more than 20,000 square metres, including multiple university buildings and an aerial survey of a multi-storey.
- Abstract（参考訳）: 我々は,ライダーと視覚データを融合させ,幾何学的に正確で,光現実的なテクスチャを捉えた高品質な再構成を生成するニューラル放射場(NeRF)に基づく大規模再構成システムを提案する。
我々のシステムは、ライダーを付加的に組み込むために最先端のNeRF表現を採用する。
ライダーデータを追加すると、深度や表面の正常度に強い幾何学的制約が生じるが、これは特に、曖昧な視覚的再構成手段を含む均一なテクスチャ表面をモデル化する場合に有用である。
さらに, カメラおよびライダーからのセンサ観測から, 放射場における各点位置の空間的ばらつきとして再構成の不確かさを推定した。
これにより、各センサのモダリティによって確実に再構成された領域を識別することができ、推定された不確実性に応じて地図をフィルタリングすることができる。
また、オンラインマッピング中にリアルタイムのポーズグラフライダSLAMシステムによって生成された軌跡を利用して(後処理)Structure-from-Motion (SfM)再構成手順をブートストラップすることで、SfMのトレーニング時間を最大70%短縮することができる。
また、ライダーの深さ損失に不可欠な全体的なメートル法スケールを適切に制約するのにも役立ちます。
グローバルに一貫性のある軌道は、スペクトルクラスタリングを用いてサブマップに分割して、協調可視画像の集合をまとめることができる。
このサブマッピングアプローチは、距離ベースパーティショニングよりも視覚的再構成に適している。
各サブマップはポイントワイドの不確実性推定に従ってフィルタリングされ、最終的な大規模3D再構成を得るためにマージされる。
ロボット搭載型とハンドヘルド型の両方のスキャニング実験において,マルチカメラ・ライダーセンサ・スイートを用いた再構築システムを実証した。
テストデータセットは、複数の大学の建物を含む2万平方メートル以上の面積をカバーし、複数店舗の空中調査を行っている。
関連論文リスト
- CoCPF: Coordinate-based Continuous Projection Field for Ill-Posed Inverse Problem in Imaging [78.734927709231]
スパース・ビュー・コンピュート・トモグラフィー(SVCT)の再構成は,スパース・サンプリングによるCT画像の取得を目的としている。
暗黙的な神経表現(INR)技術は、不備のため、その分野に「かなりの穴」(すなわち、未モデル化空間)を残し、準最適結果をもたらす可能性がある。
SVCT再構成のためのホールフリー表現場を構築することを目的としたコーディネート型連続射影場(CoCPF)を提案する。
論文 参考訳（メタデータ） (2024-06-21T08:38:30Z) - SiLVR: Scalable Lidar-Visual Reconstruction with Neural Radiance Fields
for Robotic Inspection [4.6102302191645075]
本稿では,ライダーと視覚データを融合して高品質な再構築を行う,ニューラルネットワークに基づく大規模再構築システムを提案する。
実時間ライダーSLAMシステムからの軌道を利用してStructure-from-Motion (SfM) 手順をブートストラップする。
サブマッピングを用いて、長い軌道上で捕獲された大規模環境にシステムをスケールする。
論文 参考訳（メタデータ） (2024-03-11T16:31:25Z) - DiAD: A Diffusion-based Framework for Multi-class Anomaly Detection [55.48770333927732]
本稿では,拡散型異常検出(Difusion-based Anomaly Detection, DAD)フレームワークを提案する。
画素空間オートエンコーダ、安定拡散の復調ネットワークに接続する潜在空間セマンティックガイド(SG)ネットワーク、特徴空間事前学習機能抽出器から構成される。
MVTec-ADとVisAデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2023-12-11T18:38:28Z) - Fast Monocular Scene Reconstruction with Global-Sparse Local-Dense Grids [84.90863397388776]
本稿では,スパルス・ボクセル・ブロック・グリッドにおける署名付き距離関数(SDF)を直接使用して,距離のない高速かつ正確なシーン再構成を実現することを提案する。
我々の世界規模で疎密で局所的なデータ構造は、表面の空間的空間性を利用して、キャッシュフレンドリーなクエリを可能にし、マルチモーダルデータへの直接拡張を可能にします。
実験により、我々のアプローチはトレーニングでは10倍、レンダリングでは100倍高速であり、最先端のニューラル暗黙法に匹敵する精度を実現していることがわかった。
論文 参考訳（メタデータ） (2023-05-22T16:50:19Z) - BS3D: Building-scale 3D Reconstruction from RGB-D Images [25.604775584883413]
本稿では,消費者向け深度カメラを用いた大規模3次元再構築のための使い易いフレームワークを提案する。
複雑で高価な買収設定とは異なり、当社のシステムはクラウドソーシングを可能にする。
論文 参考訳（メタデータ） (2023-01-03T11:46:14Z) - Semi-signed neural fitting for surface reconstruction from unoriented
point clouds [53.379712818791894]
より優れた符号付き距離場を再構成するためのSN-Fittingを提案する。
SSNフィッティングは半署名の監督と損失に基づく領域サンプリング戦略で構成されている。
我々は,SSN-Fittingが,異なる設定下で最先端の性能を達成することを示す実験を行う。
論文 参考訳（メタデータ） (2022-06-14T09:40:17Z) - TerrainMesh: Metric-Semantic Terrain Reconstruction from Aerial Images
Using Joint 2D-3D Learning [20.81202315793742]
本稿では,視覚的オドメトリーアルゴリズムによって保持される各カメラにおける局所的メートル法-セマンティックメッシュを再構築する2次元3次元学習手法を提案する。
メッシュはグローバル環境モデルに組み立てて、オンライン操作中の地形のトポロジとセマンティクスをキャプチャすることができる。
論文 参考訳（メタデータ） (2022-04-23T05:18:39Z) - 3D Surface Reconstruction From Multi-Date Satellite Images [11.84274417463238]
本研究では,複数の衛星画像から点雲を再構成することのできるStructure from Motion (SfM) ベースのパイプラインの拡張を提案する。
衛星画像のコンテキストにおいて、最先端メッシュ再構成アルゴリズムを利用するために必須となるいくつかのステップについて、詳細な説明を提供する。
提案したパイプラインと現在のメッシュアルゴリズムが組み合わさって、完全性と中央値エラーの点で最先端のクラウド再構築アルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2021-02-04T09:23:21Z) - Mesh Reconstruction from Aerial Images for Outdoor Terrain Mapping Using
Joint 2D-3D Learning [12.741811850885309]
本稿では,無人航空機から得られた頭上画像を用いて,屋外地形のマッピングを行う。
飛行中の航空画像からの深度推定は困難です。
各カメラの局所メッシュを再構成する2d-3d学習手法を共同開発し,地球環境モデルとして構築する。
論文 参考訳（メタデータ） (2021-01-06T02:09:03Z) - Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。
まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。
これらの深度マップは、異なるビューを粗く整列するために使用される。
本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-03-27T21:28:54Z) - OmniSLAM: Omnidirectional Localization and Dense Mapping for
Wide-baseline Multi-camera Systems [88.41004332322788]
超広視野魚眼カメラ(FOV)を用いた広視野多視点ステレオ構成のための全方向位置決めと高密度マッピングシステムを提案する。
より実用的で正確な再構築のために、全方向深度推定のための改良された軽量のディープニューラルネットワークを導入する。
我々は全方位深度推定をビジュアル・オドメトリー(VO)に統合し,大域的整合性のためのループ閉鎖モジュールを付加する。
論文 参考訳（メタデータ） (2020-03-18T05:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。