論文の概要: SiLVR: Scalable Lidar-Visual Reconstruction with Neural Radiance Fields
for Robotic Inspection
- arxiv url: http://arxiv.org/abs/2403.06877v1
- Date: Mon, 11 Mar 2024 16:31:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:16:20.680463
- Title: SiLVR: Scalable Lidar-Visual Reconstruction with Neural Radiance Fields
for Robotic Inspection
- Title(参考訳): SiLVR: ロボット検査のためのニューラルネットワークを用いたスケーラブルライダー画像再構成
- Authors: Yifu Tao, Yash Bhalgat, Lanke Frank Tarimo Fu, Matias Mattamala, Nived
Chebrolu, Maurice Fallon
- Abstract要約: 本稿では,ライダーと視覚データを融合して高品質な再構築を行う,ニューラルネットワークに基づく大規模再構築システムを提案する。
実時間ライダーSLAMシステムからの軌道を利用してStructure-from-Motion (SfM) 手順をブートストラップする。
サブマッピングを用いて、長い軌道上で捕獲された大規模環境にシステムをスケールする。
- 参考スコア(独自算出の注目度): 4.6102302191645075
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present a neural-field-based large-scale reconstruction system that fuses
lidar and vision data to generate high-quality reconstructions that are
geometrically accurate and capture photo-realistic textures. This system adapts
the state-of-the-art neural radiance field (NeRF) representation to also
incorporate lidar data which adds strong geometric constraints on the depth and
surface normals. We exploit the trajectory from a real-time lidar SLAM system
to bootstrap a Structure-from-Motion (SfM) procedure to both significantly
reduce the computation time and to provide metric scale which is crucial for
lidar depth loss. We use submapping to scale the system to large-scale
environments captured over long trajectories. We demonstrate the reconstruction
system with data from a multi-camera, lidar sensor suite onboard a legged
robot, hand-held while scanning building scenes for 600 metres, and onboard an
aerial robot surveying a multi-storey mock disaster site-building. Website:
https://ori-drs.github.io/projects/silvr/
- Abstract(参考訳): 本稿では、ライダーと視覚データを融合して、幾何学的に正確でリアルなテクスチャを捉えた高品質な再構築システムを提案する。
このシステムは、最先端のニューラル放射場(NeRF)表現に適応し、深さと表面の正常値に強い幾何学的制約を加えるライダーデータも組み込む。
我々は,リアルタイムライダーSLAMシステムからの軌道を利用して,SfM(Structure-from-Motion)手順をブートストラップし,計算時間を著しく短縮し,ライダー深度損失に不可欠な計量尺度を提供する。
ロングトラジェクタでキャプチャされた大規模環境へのシステム拡張にサブマッピングを使用する。
本システムでは, 複数カメラ, ライダー・センサ・スイートを脚付きロボットに装着し, 建物シーンを600mスキャンしながらハンドヘルドし, 複数階の模擬災害現場を探査する空中ロボットを搭載。
ウェブサイト:https://ori-drs.github.io/projects/silvr/
関連論文リスト
- Evaluating geometric accuracy of NeRF reconstructions compared to SLAM method [0.0]
フォトグラメトリーは画像ベースの3D再構成を行うことができるが、計算コストが高く、複雑な幾何学やフォトリアリズムを復元するために非常に高密度な画像表現を必要とする。
NeRFは、スパース画像上でニューラルネットワークをトレーニングし、データをポーズすることで3Dシーン再構築を行い、少ない入力データでフォトグラム測定に優れた結果が得られる。
縦型PVCシリンダの直径を推定するための2つのNeRFシーン再構成の評価を行った。
論文 参考訳(メタデータ) (2024-07-15T21:04:11Z) - MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements [59.70107451308687]
カメラ画像と慣性測定による地図表現に3Dガウスアンを用いることで、精度の高いSLAMが実現できることを示す。
我々の手法であるMM3DGSは、より高速なスケール認識と軌道追跡の改善により、事前レンダリングの限界に対処する。
また,カメラと慣性測定ユニットを備えた移動ロボットから収集したマルチモーダルデータセットUT-MMもリリースした。
論文 参考訳(メタデータ) (2024-04-01T04:57:41Z) - NeSLAM: Neural Implicit Mapping and Self-Supervised Feature Tracking With Depth Completion and Denoising [23.876281686625134]
我々は,高精度で密度の高い深度推定,ロバストなカメラトラッキング,新しいビューの現実的な合成を実現するフレームワークNeSLAMを提案する。
各種屋内データセットを用いた実験は、再構築、品質追跡、新しいビュー合成におけるシステムの有効性と精度を示す。
論文 参考訳(メタデータ) (2024-03-29T07:59:37Z) - Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳(メタデータ) (2023-04-27T23:03:52Z) - BS3D: Building-scale 3D Reconstruction from RGB-D Images [25.604775584883413]
本稿では,消費者向け深度カメラを用いた大規模3次元再構築のための使い易いフレームワークを提案する。
複雑で高価な買収設定とは異なり、当社のシステムはクラウドソーシングを可能にする。
論文 参考訳(メタデータ) (2023-01-03T11:46:14Z) - DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using
Single-View Depth and Gradient Predictions [22.243043857097582]
DeepFusionは、GPU上でリアルタイムに高密度な再構成を生成することができる。
半密度多視点ステレオアルゴリズムの出力とCNNの深さと予測を確率的に融合する。
合成および実世界のデータセットのパフォーマンスに基づいて、DeepFusionは、少なくとも他の同等のシステムと同様に、実行可能であることを実証する。
論文 参考訳(メタデータ) (2022-07-25T14:55:26Z) - Neural Scene Representation for Locomotion on Structured Terrain [56.48607865960868]
本研究では,都市環境を横断する移動ロボットの局所的な地形を再構築する学習手法を提案する。
搭載されたカメラとロボットの軌道からの深度測定のストリームを用いて、ロボットの近傍の地形を推定する。
ノイズ測定とカメラ配置の盲点からの大量の欠落データにもかかわらず,シーンを忠実に再構築する3次元再構成モデルを提案する。
論文 参考訳(メタデータ) (2022-06-16T10:45:17Z) - NeRF-Supervision: Learning Dense Object Descriptors from Neural Radiance
Fields [54.27264716713327]
シーンのニューラル・ラジアンス・フィールド(NeRF)表現は,高密度物体記述子の訓練に利用できることを示す。
我々は、最適化されたNeRFを用いて、オブジェクトの複数のビュー間の密接な対応を抽出し、これらの対応を、オブジェクトのビュー不変表現を学習するためのトレーニングデータとして使用する。
また,本手法により教師されたディエンス対応モデルは,市販の学習ディスクリプタよりも106%優れていた。
論文 参考訳(メタデータ) (2022-03-03T18:49:57Z) - NeRS: Neural Reflectance Surfaces for Sparse-view 3D Reconstruction in
the Wild [80.09093712055682]
ニューラルリフレクタンスサーフェス(NeRS)と呼ばれる暗黙モデルの表面アナログを導入する。
NeRSは、球に微分される閉じた表面の神経形状の表現を学び、水密な再構成を保証する。
このようなデータから学習可能な表面ベースニューラル再構成は,体積的ニューラルレンダリングに基づく再構成よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-10-14T17:59:58Z) - Risk-Averse MPC via Visual-Inertial Input and Recurrent Networks for
Online Collision Avoidance [95.86944752753564]
本稿では,モデル予測制御(MPC)の定式化を拡張したオンライン経路計画アーキテクチャを提案する。
我々のアルゴリズムは、状態推定の共分散を推論するリカレントニューラルネットワーク(RNN)とオブジェクト検出パイプラインを組み合わせる。
本手法のロバスト性は, 複雑な四足歩行ロボットの力学で検証され, ほとんどのロボットプラットフォームに適用可能である。
論文 参考訳(メタデータ) (2020-07-28T07:34:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。