論文の概要: Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a Light-Weight ToF Sensor

• arxiv url: http://arxiv.org/abs/2308.14383v1
• Date: Mon, 28 Aug 2023 07:56:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 15:02:18.281850
• Title: Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a Light-Weight ToF Sensor
• Title（参考訳）: 軽量ToFセンサを用いた単分子密度SLAMのためのマルチモードニューラルレーダランス場
• Authors: Xinyang Liu, Yijin Li, Yanbin Teng, Hujun Bao, Guofeng Zhang, Yinda Zhang, Zhaopeng Cui
• Abstract要約: 単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。 本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。 実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 58.305341034419136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Light-weight time-of-flight (ToF) depth sensors are compact and cost-efficient, and thus widely used on mobile devices for tasks such as autofocus and obstacle detection. However, due to the sparse and noisy depth measurements, these sensors have rarely been considered for dense geometry reconstruction. In this work, we present the first dense SLAM system with a monocular camera and a light-weight ToF sensor. Specifically, we propose a multi-modal implicit scene representation that supports rendering both the signals from the RGB camera and light-weight ToF sensor which drives the optimization by comparing with the raw sensor inputs. Moreover, in order to guarantee successful pose tracking and reconstruction, we exploit a predicted depth as an intermediate supervision and develop a coarse-to-fine optimization strategy for efficient learning of the implicit representation. At last, the temporal information is explicitly exploited to deal with the noisy signals from light-weight ToF sensors to improve the accuracy and robustness of the system. Experiments demonstrate that our system well exploits the signals of light-weight ToF sensors and achieves competitive results both on camera tracking and dense scene reconstruction. Project page: \url{https://zju3dv.github.io/tof_slam/}.
• Abstract（参考訳）: 軽量飛行時間(ToF)深度センサはコンパクトでコスト効率が良く、オートフォーカスや障害物検出などのタスクにモバイルデバイスで広く利用されている。 しかし、細くノイズの多い深さ測定のため、これらのセンサーが密度の高い幾何学的再構成のために考慮されることは稀である。 本研究では,モノクラーカメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。 具体的には、rgbカメラからの信号と、生のセンサ入力と比較して最適化を駆動する軽量なtofセンサの両方のレンダリングをサポートするマルチモーダル暗黙的シーン表現を提案する。 さらに,ポーズ追跡と再構築を成功させるために,予測深度を中間監督として活用し,暗黙表現の効率的な学習のための粗粒度最適化戦略を開発する。 最後に、時間情報を明示的に利用して、軽量のToFセンサーからのノイズ信号に対処し、システムの精度と堅牢性を改善する。 実験により,本システムは軽量tofセンサの信号を十分に活用し,カメラトラッキングと高密度シーン再構成の両立を実現した。 プロジェクトページ: \url{https://zju3dv.github.io/tof_slam/}。

関連論文リスト

• Characterization of point-source transient events with a rolling-shutter compressed sensing system [0.0]
  ポイントソースの過渡イベント(PSTE)は、イメージングシステムにいくつかの課題をもたらす。 これらの要件を満たす従来のイメージングシステムは、価格、サイズ、重量、消費電力、データ帯域幅の点で費用がかかる。 画像システムのローリングシャッター読み出しに適応した新しい圧縮センシングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-08-29T19:22:37Z)
• Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
  様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-05T17:55:33Z)
• Fisheye Camera and Ultrasonic Sensor Fusion For Near-Field Obstacle Perception in Bird's-Eye-View [4.536942273206611]
  本稿では,鳥眼ビュー(BEV)の観点からの効率的な障害物認識に適した,エンド・ツー・エンドのマルチモーダル融合モデルを提案する。 魚眼カメラは、後部障害物の定位を含む包括的サラウンドビューの知覚によく使用される。 しかし、このようなカメラの性能は、夜間の低照度、強烈な太陽の輝きにさらされた場合、著しく劣化する可能性がある。
  論文  参考訳（メタデータ） (2024-02-01T14:52:16Z)
• Weakly-Supervised Optical Flow Estimation for Time-of-Flight [11.496094830445054]
  再構成深度に直接光フローネットワークを監視できるトレーニングアルゴリズムを提案する。 本手法により,iToF深度画像における生のiToF測定値の整列と運動成果物の補償を可能にする。
  論文  参考訳（メタデータ） (2022-10-11T09:47:23Z)
• FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras [37.812681878193914]
  スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。 高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。 本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T09:57:09Z)
• DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
  我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。 DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。 実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-09-27T13:11:37Z)
• Learning Online Multi-Sensor Depth Fusion [100.84519175539378]
  SenFuNetは、センサ固有のノイズと外れ値統計を学習するディープフュージョンアプローチである。 実世界のCoRBSとScene3Dデータセットで様々なセンサーの組み合わせで実験を行う。
  論文  参考訳（メタデータ） (2022-04-07T10:45:32Z)
• Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth with RGB Fusion in Challenging Environments [56.306567220448684]
  本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。 最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
  論文  参考訳（メタデータ） (2021-12-07T15:04:14Z)
• ESL: Event-based Structured Light [62.77144631509817]
  イベントカメラはバイオインスパイアされたセンサーであり、標準的なカメラよりも大きな利点がある。 本稿では,イベントカメラを用いた新しい構造化光システムを提案し,高精度かつ高速な深度センシングの課題に対処する。
  論文  参考訳（メタデータ） (2021-11-30T15:47:39Z)
• Event Guided Depth Sensing [50.997474285910734]
  バイオインスパイアされたイベントカメラ駆動深度推定アルゴリズムを提案する。 提案手法では,イベントカメラが検出したシーン活動に応じて,関心領域を高密度に照明する。 シミュレーションされた自律運転シーケンスと実際の屋内環境におけるアプローチの実現可能性を示す。
  論文  参考訳（メタデータ） (2021-10-20T11:41:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。