論文の概要: Context-Aware RGB-Thermal-Radar Obstacle Perception for Resource-Constrained ASVs
- arxiv url: http://arxiv.org/abs/2610.23873v1
- Date: Sat, 19 Sep 2026 12:00:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 23:06:32.674081
- Title: Context-Aware RGB-Thermal-Radar Obstacle Perception for Resource-Constrained ASVs
- Title(参考訳): 資源制約型ASVにおけるRGB熱レーダー障害物知覚
- Abstract要約: 本稿では,RGBと長波長赤外(LWIR)画像,周波数変調連続波(FMCW)mm波レーダ,慣性コンテキストを組み合わせたコンテキスト認識アーキテクチャを提案する。
ベアリング・セクターインタフェースは、ナビゲーションコントローラに調整された障害物確率、レーダー範囲、センサーの状態を提供する。
RGBは使用時に最もランクが良いのに対し、融合はRGBの故障時にナビゲーション入力を保存する。
- 参考スコア(独自算出の注目度): 3.6704226968275253
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Reliable obstacle perception is challenging for small autonomous surface vessels (ASVs): reflections and glare confound visible-light cameras, vessel motion shifts the apparent waterline, and darkness removes the dominant sensing modality altogether. Rather than treating multimodal fusion as a static accuracy gain, we propose a context-aware architecture that combines RGB and long-wave infrared (LWIR) imagery, frequency-modulated continuous-wave (FMCW) mmWave radar, and inertial context. A bearing-sector interface provides the navigation controller with calibrated obstacle probabilities, radar ranges, and sensor status. It also distinguishes sensor dropout from a valid observation with no detected obstacle. Using new multimodal lake recordings, we deployed the pipeline in a 24-leg closed-loop pilot under uncontrolled lake conditions (16 day, 4 dusk, and 4 night; 351 m), including night legs in which RGB was unusable and the vessel drove on LWIR and radar evidence alone. On eight held-out low-light recordings, the calibrated fusion model achieved average precision (AP) 0.869 and expected calibration error 0.108, compared with AP 0.673 for rule-based fusion, 0.620 for gated fusion, and 0.903 for RGB alone. Our results expose a central tradeoff: RGB ranks best when usable, whereas fusion preserves a navigation input when RGB fails. This work is a step toward perception that remains usable and degrades predictably across multi-day ASV missions.
- Abstract(参考訳): 小型の自律型表面容器(ASV)には信頼性の高い障害物認識が困難である。反射とグラアの凹凸した可視光カメラ、船体の動きが明らかな水線をシフトし、暗黒が支配的な知覚のモダリティを完全に取り除く。
マルチモーダル融合を静的な精度向上として扱うのではなく、RGBと長波赤外(LWIR)画像、周波数変調連続波(FMCW)mm波レーダ、慣性コンテキストを組み合わせたコンテキスト認識アーキテクチャを提案する。
ベアリング・セクターインタフェースは、ナビゲーションコントローラに調整された障害物確率、レーダー範囲、センサーの状態を提供する。
また、検出された障害物を伴わない有効な観測とセンサのドロップアウトを区別する。
新しいマルチモーダル湖記録を用いて,RGBが使用不能で船体がLWIRとレーダーによる証拠のみを駆動する夜間脚を含む,制御不能な湖水条件(16日,4夕,4夜,351m)下で24脚の閉ループパイロットにパイプラインを配置した。
8つの低照度記録において、校正核融合モデルは平均精度(AP)0.869と期待校正誤差0.108を達成し、規則ベース核融合のAP 0.673、ゲート核融合の0.620、RGB単独の0.903を達成した。
RGBは使用時に最もランクが良いのに対し、融合はRGBの故障時にナビゲーション入力を保存する。
この研究は、多日間のASVミッションにおいて、使用可能な認識と予測可能な劣化への一歩である。
関連論文リスト
- SenseWeather: Multimodal Sensing for Robust Robotic Perception under Extreme Conditions [40.27206816302145]
本稿では,タスク互換のRGB観測を上流で再現できるかどうかについて検討する。
豪雨,雪,ほこり,霧,闇の下でのロボット知覚のための制御されたマルチモーダル・ベンチマークであるSenseWeatherを紹介した。
拡散変換器のためのトークン空間融合に基づく2つのパラメータ効率のセンサフュージョンを実現するFusion-to-RGBを開発した。
論文 参考訳(メタデータ) (2026-10-08T12:56:42Z) - Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark [68.49637363691325]
本稿では,RGB-NIR低照度画像に3次元ニューラルモデリングを取り入れた新しい視点を提供する。
強力なモデルは、暗黙的に非常にノイズの多いRGB観測を3次元空間でNIRキューで融合させ、クリーンなRGBイメージを効果的に回収するために最適化することができる。
論文 参考訳(メタデータ) (2026-07-31T17:59:18Z) - NERVE: A Neuromorphic Vision and Radar Ensemble for Multi-Sensor Fusion Research [0.8228702942838674]
NERVE(Neuromorphic Vision and Radar Ensemble)は5つのセンサから257分間の同期記録からなるマルチセンサデータセットである。
人間の検出と距離推定のためのDVS+Radarサブセットを構築した。
フィードフォワードとリカレント検出器を用いた実験では、DVSと77GHz Radarの組み合わせが常に検出を改善することが示されている。
論文 参考訳(メタデータ) (2026-05-13T16:35:27Z) - RASMD: RGB And SWIR Multispectral Driving Dataset for Robust Perception in Adverse Conditions [0.3141085922386211]
短波長赤外線(SWIR)イメージングは、NIRとLWIRに対していくつかの利点がある。
現在の自律走行アルゴリズムは可視光スペクトルに大きく依存しており、悪条件下での性能劣化を招きやすい。
RGB と SWIR のマルチスペクトル駆動データセットを導入し,RGB-SWIR 画像ペアの同期化と空間整合化を実現した。
論文 参考訳(メタデータ) (2025-04-10T09:54:57Z) - RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
暗い照明や悪天候はカメラの性能を低下させる。
レーダーは騒音と位置のあいまいさに悩まされる。
本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
論文 参考訳(メタデータ) (2025-02-18T17:17:38Z) - Bringing RGB and IR Together: Hierarchical Multi-Modal Enhancement for Robust Transmission Line Detection [67.02804741856512]
高速かつ高精度なTL検出のために,RGBとIRデータを統合したHMMEN(Hierarchical Multi-Modal Enhancement Network)を提案する。
提案手法では,(1)階層的RGBおよびIR特徴写像を大まかに融合・拡張するMMEB,(2)デコーダ出力とIR特徴写像の不整合を変形可能な畳み込みを利用して補正するFAB,の2つの重要な構成要素を紹介する。
論文 参考訳(メタデータ) (2025-01-25T06:21:06Z) - IRisPath: Enhancing Costmap for Off-Road Navigation with Robust IR-RGB Fusion for Improved Day and Night Traversability [2.21687743334279]
従来の道路上での自律的な手法はダイナミックな地形に苦しむため、オフロード環境では車両の制御が貧弱になる。
近年の深層学習モデルでは、知覚センサと審美的フィードバックを併用して、そのような地形のナビゲーションを行っている。
本研究では,熱・RGB画像を用いて動的気象・光条件に対する堅牢性を実現するマルチモーダル核融合ネットワーク「IRisPath」を提案する。
論文 参考訳(メタデータ) (2024-12-04T09:53:09Z) - V2X-R: Cooperative LiDAR-4D Radar Fusion with Denoising Diffusion for 3D Object Detection [64.93675471780209]
我々は、LiDAR、カメラ、および4Dレーダを取り入れた初のシミュレーションV2XデータセットであるV2X-Rを提案する。
V2X-Rには12,079のシナリオがあり、LiDARと4Dレーダーポイント雲の37,727フレーム、150,908の画像、170,859の注釈付き3D車両バウンディングボックスがある。
本稿では,3次元物体検出のための新しいコラボレーティブLiDAR-4Dレーダ融合パイプラインを提案し,様々な融合戦略を用いて実装する。
論文 参考訳(メタデータ) (2024-11-13T07:41:47Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z) - Drone-based RGB-Infrared Cross-Modality Vehicle Detection via
Uncertainty-Aware Learning [59.19469551774703]
ドローンによる車両検出は、空中画像中の車両の位置とカテゴリーを見つけることを目的としている。
我々はDroneVehicleと呼ばれる大規模ドローンベースのRGB赤外線車両検出データセットを構築した。
私たちのDroneVehicleは28,439RGBの赤外線画像を収集し、都市道路、住宅地、駐車場、その他のシナリオを昼から夜までカバーしています。
論文 参考訳(メタデータ) (2020-03-05T05:29:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。