論文の概要: DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image
- arxiv url: http://arxiv.org/abs/2209.13362v1
- Date: Tue, 27 Sep 2022 13:11:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 15:42:48.282048
- Title: DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image
- Title（参考訳）: DELTAR:軽量ToFセンサとRGB画像からの深さ推定
- Authors: Yijin Li, Xinyang Liu, Wenqi Dong, Han Zhou, Hujun Bao, Guofeng Zhang,
Yinda Zhang, Zhaopeng Cui
- Abstract要約: 我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。
DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。
実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
- 参考スコア（独自算出の注目度）: 39.389538555506256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Light-weight time-of-flight (ToF) depth sensors are small, cheap, low-energy
and have been massively deployed on mobile devices for the purposes like
autofocus, obstacle detection, etc. However, due to their specific measurements
(depth distribution in a region instead of the depth value at a certain pixel)
and extremely low resolution, they are insufficient for applications requiring
high-fidelity depth such as 3D reconstruction. In this paper, we propose
DELTAR, a novel method to empower light-weight ToF sensors with the capability
of measuring high resolution and accurate depth by cooperating with a color
image. As the core of DELTAR, a feature extractor customized for depth
distribution and an attention-based neural architecture is proposed to fuse the
information from the color and ToF domain efficiently. To evaluate our system
in real-world scenarios, we design a data collection device and propose a new
approach to calibrate the RGB camera and ToF sensor. Experiments show that our
method produces more accurate depth than existing frameworks designed for depth
completion and depth super-resolution and achieves on par performance with a
commodity-level RGB-D sensor. Code and data are available at
https://zju3dv.github.io/deltar/.
- Abstract（参考訳）: 軽量飛行時間(ToF)深度センサーは小型で安価で低エネルギーで、オートフォーカスや障害物検出などの目的でモバイルデバイスに大量にデプロイされている。
しかし, 特定の測定値(画素の深さ値ではなく領域内の深度分布)と極めて低分解能のため, 3次元再構成などの高忠実度化を必要とするアプリケーションには不十分である。
本稿では,カラー画像と協調して高分解能,高精度な深度を計測できる,軽量なtofセンサをエンパワーする新しい手法であるdeltarを提案する。
DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。
実世界のシナリオでシステムを評価するために,データ収集装置を設計し,RGBカメラとToFセンサを校正するための新しいアプローチを提案する。
実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
コードとデータはhttps://zju3dv.github.io/deltar/で入手できる。
関連論文リスト
- RGB Guided ToF Imaging System: A Survey of Deep Learning-based Methods [30.34690112905212]
RGBカメラをToFイメージングシステムに統合することは、現実世界を知覚するための重要な技術となっている。
本稿では, ネットワーク構造, 学習戦略, 評価指標, ベンチマークデータセット, 客観的関数など, RGBガイドによるToFイメージングに関する研究を包括的にレビューする。
論文 参考訳（メタデータ） (2024-05-16T17:59:58Z) - Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。
まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。
大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
論文 参考訳（メタデータ） (2024-04-05T17:55:33Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳（メタデータ） (2023-06-01T06:35:59Z) - Consistent Direct Time-of-Flight Video Depth Super-Resolution [9.173767380836852]
飛行時間(dToF)センサーは、次世代のオンデバイス3Dセンシングを約束している。
低分解能dToFイメージングによる空間的曖昧性を緩和する最初の多フレーム融合方式を提案する。
動的オブジェクトと現実的なdToFシミュレータを備えた,最初の合成RGB-dToFビデオデータセットであるDyDToFを紹介する。
論文 参考訳（メタデータ） (2022-11-16T04:16:20Z) - FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras [37.812681878193914]
スマートフォンには、飛行時間(ToF)深度センサーと複数のカラーカメラを備えたマルチモーダルカメラシステムが搭載されている。
高精度な高解像度の深度を作り出すことは、ToFセンサーの低解像度と限られた能動照明力のために依然として困難である。
本稿では,1枚のスナップショットからカメラパラメータを推定できる高密度2D/3Dマッチングに基づく自動校正手法を提案する。
論文 参考訳（メタデータ） (2022-10-06T09:57:09Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth
with RGB Fusion in Challenging Environments [56.306567220448684]
本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。
最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
論文 参考訳（メタデータ） (2021-12-07T15:04:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。