論文の概要: Event Spectroscopy: Event-based Multispectral and Depth Sensing using Structured Light
- arxiv url: http://arxiv.org/abs/2509.06741v1
- Date: Mon, 08 Sep 2025 14:34:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-09 14:07:04.190777
- Title: Event Spectroscopy: Event-based Multispectral and Depth Sensing using Structured Light
- Title（参考訳）: イベント分光:構造化光を用いたイベントベースマルチスペクトルと深度センシング
- Authors: Christian Geckeler, Niklas Neugebauer, Manasi Muglikar, Davide Scaramuzza, Stefano Mintchev,
- Abstract要約: 本稿では,高分解能・低遅延深度再構成とマルチスペクトルイメージングを同時に実現する新しいイベント分光システムを提案する。
RGB(3波長)に限定されたポータブルバージョンは、マゾアラのレインフォレストから現実世界の深度とスペクトルデータを収集するために使用される。
以上の結果から,材料分化に深度を加えると,色のみの手法に比べて30%以上精度が向上することがわかった。
- 参考スコア（独自算出の注目度）: 20.931791276832104
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Uncrewed aerial vehicles (UAVs) are increasingly deployed in forest environments for tasks such as environmental monitoring and search and rescue, which require safe navigation through dense foliage and precise data collection. Traditional sensing approaches, including passive multispectral and RGB imaging, suffer from latency, poor depth resolution, and strong dependence on ambient light - especially under forest canopies. In this work, we present a novel event spectroscopy system that simultaneously enables high-resolution, low-latency depth reconstruction and multispectral imaging using a single sensor. Depth is reconstructed using structured light, and by modulating the wavelength of the projected structured light, our system captures spectral information in controlled bands between 650 nm and 850 nm. We demonstrate up to $60\%$ improvement in RMSE over commercial depth sensors and validate the spectral accuracy against a reference spectrometer and commercial multispectral cameras, demonstrating comparable performance. A portable version limited to RGB (3 wavelengths) is used to collect real-world depth and spectral data from a Masoala Rainforest. We demonstrate the use of this prototype for color image reconstruction and material differentiation between leaves and branches using spectral and depth data. Our results show that adding depth (available at no extra effort with our setup) to material differentiation improves the accuracy by over $30\%$ compared to color-only method. Our system, tested in both lab and real-world rainforest environments, shows strong performance in depth estimation, RGB reconstruction, and material differentiation - paving the way for lightweight, integrated, and robust UAV perception and data collection in complex natural environments.
- Abstract（参考訳）: 無人航空機(UAV)は、環境モニタリングや探索、救助などのタスクのために森林環境に配備され、密集した葉や正確なデータ収集を通じて安全に航行する必要がある。
受動マルチスペクトルやRGBイメージングなどの従来のセンシングアプローチは、特に森林の天蓋の下では、遅延、深度分解能の低下、周囲の光への強い依存に悩まされている。
本研究では,単一センサを用いた高分解能・低遅延深度再構成とマルチスペクトルイメージングを同時に実現するイベント分光システムを提案する。
構造光を用いて奥行きを再構成し、投影された構造光の波長を変調することにより、制御帯域のスペクトル情報を650nmから850nmの範囲で取得する。
RMSEを商用深度センサで最大60 %改善し、基準分光計と商用マルチスペクトルカメラでスペクトル精度を検証し、同等の性能を示した。
RGB(3波長)に限定されたポータブルバージョンは、マゾアラ熱帯雨林から現実世界の深度とスペクトルデータを収集するために使用される。
我々は,このプロトタイプを用いて,スペクトルデータと深度データを用いて,葉と枝の色彩画像再構成と材料分化を実証した。
以上の結果から,材料分化に深度を加えることで,色のみの手法に比べて30 %以上精度が向上することがわかった。
実験室および実際の熱帯雨林環境の両方でテストされた本システムは、複雑な自然環境における軽量で統合的で堅牢なUAV知覚とデータ収集の道を開くことで、深度推定、RGB再構成、材料分化における強力な性能を示す。
関連論文リスト
- Cross-spectral Gated-RGB Stereo Depth Estimation [34.31592077757453]
ゲート付きカメラがシーンを照らし、シーンのタイムゲートのインパルスを捉えます。
本稿では,これらのマルチモーダルな多視点深度キューを活用可能な新しいステレオ深度推定法を提案する。
提案手法は, 蓄積したLiDAR地盤の100～220mの範囲において, 次の最良既存手法よりも39%高い精度で高精度な深度を実現する。
論文 参考訳（メタデータ） (2024-05-21T13:10:43Z) - RGB Guided ToF Imaging System: A Survey of Deep Learning-based Methods [30.34690112905212]
RGBカメラをToFイメージングシステムに統合することは、現実世界を知覚するための重要な技術となっている。
本稿では, ネットワーク構造, 学習戦略, 評価指標, ベンチマークデータセット, 客観的関数など, RGBガイドによるToFイメージングに関する研究を包括的にレビューする。
論文 参考訳（メタデータ） (2024-05-16T17:59:58Z) - AGG-Net: Attention Guided Gated-convolutional Network for Depth Image
Completion [1.8820731605557168]
注意誘導ゲート畳み込みネットワーク(AGG-Net)に基づく深度画像補完のための新しいモデルを提案する。
符号化段階では、異なるスケールでの深度と色の特徴の融合を実現するために、AG-GConvモジュールが提案されている。
復号段階では、アテンションガイドスキップ接続(AG-SC)モジュールが提示され、再構成にあまりにも多くの深度に関係のない特徴を導入することを避ける。
論文 参考訳（メタデータ） (2023-09-04T14:16:08Z) - Multi-Modal Neural Radiance Field for Monocular Dense SLAM with a
Light-Weight ToF Sensor [58.305341034419136]
単眼カメラと軽量ToFセンサを備えた初の高密度SLAMシステムを提案する。
本稿では,RGBカメラと軽量ToFセンサの両方の信号のレンダリングをサポートするマルチモーダル暗黙のシーン表現を提案する。
実験により,本システムは軽量なToFセンサの信号をうまく利用し,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-08-28T07:56:13Z) - Symmetric Uncertainty-Aware Feature Transmission for Depth
Super-Resolution [52.582632746409665]
カラー誘導DSRのためのSymmetric Uncertainty-aware Feature Transmission (SUFT)を提案する。
本手法は最先端の手法と比較して優れた性能を実現する。
論文 参考訳（メタデータ） (2023-06-01T06:35:59Z) - DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image [39.389538555506256]
我々は,高分解能かつ高精度な深度測定機能を備えた軽量ToFセンサを実現する新しい手法であるDELTARを提案する。
DELTARの中核として、深度分布用にカスタマイズされた特徴抽出器と注意に基づくニューラルアーキテクチャを提案し、色とToF領域からの情報を効率的に融合させる。
実験により,提案手法は深度分解能と深度超解像のために設計された既存のフレームワークよりも精度が高く,コモディティレベルのRGB-Dセンサで同等の性能が得られることが示された。
論文 参考訳（メタデータ） (2022-09-27T13:11:37Z) - Joint Learning of Salient Object Detection, Depth Estimation and Contour
Extraction [91.43066633305662]
RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。
具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。
実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
論文 参考訳（メタデータ） (2022-03-09T17:20:18Z) - Wild ToFu: Improving Range and Quality of Indirect Time-of-Flight Depth
with RGB Fusion in Challenging Environments [56.306567220448684]
本稿では,ノイズの多い生のI-ToF信号とRGB画像を用いた学習に基づくエンド・ツー・エンドの深度予測ネットワークを提案する。
最終深度マップでは,ベースラインアプローチと比較して40%以上のRMSE改善が見られた。
論文 参考訳（メタデータ） (2021-12-07T15:04:14Z) - Event Guided Depth Sensing [50.997474285910734]
バイオインスパイアされたイベントカメラ駆動深度推定アルゴリズムを提案する。
提案手法では,イベントカメラが検出したシーン活動に応じて,関心領域を高密度に照明する。
シミュレーションされた自律運転シーケンスと実際の屋内環境におけるアプローチの実現可能性を示す。
論文 参考訳（メタデータ） (2021-10-20T11:41:11Z) - A Single Stream Network for Robust and Real-time RGB-D Salient Object
Detection [89.88222217065858]
我々は、深度マップを用いて、RGBと深度の間の早期融合と中核融合を誘導する単一ストリームネットワークを設計する。
このモデルは、現在の最も軽量なモデルよりも55.5%軽く、32 FPSのリアルタイム速度で384倍の384ドルの画像を処理している。
論文 参考訳（メタデータ） (2020-07-14T04:40:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。