論文の概要: Depth on Demand: Streaming Dense Depth from a Low Frame Rate Active Sensor
- arxiv url: http://arxiv.org/abs/2409.08277v1
- Date: Thu, 12 Sep 2024 17:59:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-13 15:24:38.767760
- Title: Depth on Demand: Streaming Dense Depth from a Low Frame Rate Active Sensor
- Title(参考訳): 需要の深さ:低フレームレートアクティブセンサから高密度をストリーミングする
- Authors: Andrea Conti, Matteo Poggi, Valerio Cambareri, Stefano Mattoccia,
- Abstract要約: Depth on Demand (DoD) は、高フレームレートRGBセンサと、潜在的に低いフレームレートとスパース活性深度センサーを併用することにより、時間的および空間的深度を正確に密度化することができる。
提案手法は,深度センサのストリーミング要求を大幅に低減し,低消費電力化と高密度形状復元を可能にする。
室内および屋外のビデオデータセットにおけるDoDの有効性を実証し, 環境スキャンと自動車認識の両方のユースケースについて検討した。
- 参考スコア(独自算出の注目度): 31.118441783431177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High frame rate and accurate depth estimation plays an important role in several tasks crucial to robotics and automotive perception. To date, this can be achieved through ToF and LiDAR devices for indoor and outdoor applications, respectively. However, their applicability is limited by low frame rate, energy consumption, and spatial sparsity. Depth on Demand (DoD) allows for accurate temporal and spatial depth densification achieved by exploiting a high frame rate RGB sensor coupled with a potentially lower frame rate and sparse active depth sensor. Our proposal jointly enables lower energy consumption and denser shape reconstruction, by significantly reducing the streaming requirements on the depth sensor thanks to its three core stages: i) multi-modal encoding, ii) iterative multi-modal integration, and iii) depth decoding. We present extended evidence assessing the effectiveness of DoD on indoor and outdoor video datasets, covering both environment scanning and automotive perception use cases.
- Abstract(参考訳): 高いフレームレートと正確な深さ推定は、ロボティクスや自動車の知覚に不可欠ないくつかのタスクにおいて重要な役割を果たす。
これまでのところ、これはToFとLiDARデバイスで、それぞれ屋内および屋外のアプリケーションで実現されている。
しかし, その適用性は, 低フレームレート, エネルギー消費, 空間空間幅によって制限される。
Depth on Demand (DoD) は、高いフレームレートRGBセンサと潜在的に低いフレームレートとスパース活性深度センサーを併用することにより、時間的および空間的深度を正確に密度化することができる。
提案手法は,3つのコアステージにより,深度センサのストリーミング要求を大幅に低減し,低消費電力化と高密度形状復元を可能にする。
i) マルチモーダル符号化
二 反復的マルチモーダル統合及び
三 深度復号
室内および屋外のビデオデータセットにおけるDoDの有効性を実証し, 環境スキャンと自動車認識の両方のユースケースについて検討した。
関連論文リスト
- LED: Light Enhanced Depth Estimation at Night [10.941842055797125]
低照度環境における深度推定を大幅に改善する新しいコスト効率のアプローチであるLED(Light Enhanced Depth)を導入する。
LEDは、現代の車両で利用できる高解像度ヘッドライトによって投影されるパターンを利用する。
49,990の注釈付き画像からなるNighttime Synthetic Driveデータセットをリリースする。
論文 参考訳(メタデータ) (2024-09-12T13:23:24Z) - SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors [42.48726526726542]
SelfReDepthは、深度復元のための自己教師型ディープラーニング技術である。
複数のシーケンシャルな深度フレームとカラーデータを使用して、時間的コヒーレンスで高品質な深度ビデオを実現する。
我々の結果は、実世界のデータセット上での我々のアプローチのリアルタイムパフォーマンスを実証する。
論文 参考訳(メタデータ) (2024-06-05T15:38:02Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳(メタデータ) (2023-08-28T07:56:13Z) - Video super-resolution for single-photon LIDAR [0.0]
3D Time-of-Flight (ToF)イメージセンサーは、自動運転車、拡張現実(AR)、ロボット工学などの用途で広く利用されている。
本稿では,合成深度シーケンスを用いて3次元畳み込みニューラルネットワーク(CNN)を学習し,x4深度データを復調・アップスケーリングする。
GPUアクセラレーションでは、フレームは毎秒30フレーム以上で処理され、障害物回避に必要な低遅延イメージングに適している。
論文 参考訳(メタデータ) (2022-10-19T11:33:29Z) - DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。
DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。
実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
論文 参考訳(メタデータ) (2022-09-27T13:11:37Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳(メタデータ) (2022-03-09T17:20:18Z) - Event Guided Depth Sensing [50.997474285910734]
バイオインスパイアされたイベントカメラ駆動深度推定アルゴリズムを提案する。
提案手法では,イベントカメラが検出したシーン活動に応じて,関心領域を高密度に照明する。
シミュレーションされた自律運転シーケンスと実際の屋内環境におけるアプローチの実現可能性を示す。
論文 参考訳(メタデータ) (2021-10-20T11:41:11Z) - Depth-supervised NeRF: Fewer Views and Faster Training for Free [69.34556647743285]
DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。
我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
論文 参考訳(メタデータ) (2021-07-06T17:58:35Z) - Sparse Auxiliary Networks for Unified Monocular Depth Prediction and
Completion [56.85837052421469]
コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。
本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。
sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
論文 参考訳(メタデータ) (2021-03-30T21:22:26Z) - Self-supervised Depth Denoising Using Lower- and Higher-quality RGB-D
sensors [8.34403807284064]
そこで本研究では,低品質センサからの奥行きを識別し,精巧化するための自己教師型深度Denoisingアプローチを提案する。
我々は、不整合低品質カメラと高画質カメラの同時RGB-Dシーケンスを記録し、時間的・空間的に配列を整列する難題を解決する。
次に、より深いニューラルネットワークを学習し、一致した高品質なデータを監視信号のソースとして使用して、低品質な深度を識別する。
論文 参考訳(メタデータ) (2020-09-10T11:18:11Z) - Depth Sensing Beyond LiDAR Range [84.19507822574568]
小型の視野カメラを用いた3カメラシステムを提案する。
我々のシステムは、計量深度を計算するための新しいアルゴリズムとともに、完全な事前校正を必要としない。
遠距離のシーンや物体に対して、事実上許容できる精度で密集した深度マップを出力することができる。
論文 参考訳(メタデータ) (2020-04-07T00:09:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。