論文の概要: WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces
- arxiv url: http://arxiv.org/abs/2307.06505v3
- Date: Sat, 15 Jun 2024 20:28:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 12:50:30.068856
- Title: WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmarks for Autonomous Driving on Water Surfaces
- Title（参考訳）: WaterScenes:マルチタスク4Dレーダカメラフュージョンデータセットと水面自律走行ベンチマーク
- Authors: Shanliang Yao, Runwei Guan, Zhaodong Wu, Yi Ni, Zile Huang, Ryan Wen Liu, Yong Yue, Weiping Ding, Eng Gee Lim, Hyungjoon Seo, Ka Lok Man, Jieming Ma, Xiaohui Zhu, Yutao Yue,
- Abstract要約: WaterScenesは、水面での自律走行のための最初のマルチタスク4Dレーダーカメラ融合データセットである。
我々の無人表面車両(USV)は、オブジェクト関連の情報を識別するための全天候のソリューションを提供する。
- 参考スコア（独自算出の注目度）: 12.755813310009179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving on water surfaces plays an essential role in executing hazardous and time-consuming missions, such as maritime surveillance, survivors rescue, environmental monitoring, hydrography mapping and waste cleaning. This work presents WaterScenes, the first multi-task 4D radar-camera fusion dataset for autonomous driving on water surfaces. Equipped with a 4D radar and a monocular camera, our Unmanned Surface Vehicle (USV) proffers all-weather solutions for discerning object-related information, including color, shape, texture, range, velocity, azimuth, and elevation. Focusing on typical static and dynamic objects on water surfaces, we label the camera images and radar point clouds at pixel-level and point-level, respectively. In addition to basic perception tasks, such as object detection, instance segmentation and semantic segmentation, we also provide annotations for free-space segmentation and waterline segmentation. Leveraging the multi-task and multi-modal data, we conduct benchmark experiments on the uni-modality of radar and camera, as well as the fused modalities. Experimental results demonstrate that 4D radar-camera fusion can considerably improve the accuracy and robustness of perception on water surfaces, especially in adverse lighting and weather conditions. WaterScenes dataset is public on https://waterscenes.github.io.
- Abstract（参考訳）: 水面での自律運転は、海洋監視、生存者の救助、環境モニタリング、水路マッピング、廃棄物浄化といった危険で時間のかかるミッションを実行する上で重要な役割を担っている。
この研究は、水面での自律走行のための最初のマルチタスク4Dレーダーカメラ融合データセットであるWaterScenesを提示する。
4Dレーダーと単眼カメラを搭載して、我々の無人のSurface Vehicle(USV)は、色、形状、テクスチャ、範囲、速度、方位、高度など、オブジェクト関連の情報を識別するための全天候ソリューションを入手した。
水面上の典型的な静的物体と動的物体に焦点を合わせ、カメラ画像とレーダー点雲をそれぞれピクセルレベルと点レベルにラベル付けする。
オブジェクト検出やインスタンスセグメンテーション,セマンティックセグメンテーションといった基本的な認識タスクに加えて,自由空間セグメンテーションやウォーターラインセグメンテーションのためのアノテーションも提供する。
マルチタスクおよびマルチモーダルデータを活用することで、レーダーとカメラのユニモーダルと融合モードのベンチマーク実験を行う。
実験により,4次元レーダカメラ融合は,特に悪照明や気象条件下において,水面における知覚の精度と堅牢性を大幅に向上させることができることが示された。
WaterScenesデータセットはhttps://waterscenes.github.io.comで公開されている。
関連論文リスト
- RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar [15.776076554141687]
3D占有に基づく知覚パイプラインは、かなり進歩した自律運転を持つ。
現在の方法では、LiDARやカメラの入力を3D占有率予測に頼っている。
本稿では,4次元イメージングレーダセンサを用いた3次元占有予測手法を提案する。
論文 参考訳（メタデータ） (2024-05-22T21:48:17Z) - Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-05-07T20:44:48Z) - Human Detection from 4D Radar Data in Low-Visibility Field Conditions [17.1888913327586]
現代の4Dイメージングレーダは、範囲、垂直角度、水平角度、ドップラー速度の寸法にわたってターゲット応答を提供する。
セマンティックセグメンテーションにこの4Dレーダモダリティを利用するCNNアーキテクチャTMVA4Dを提案する。
このデータセット上でTMVA4Dを用いてmIoUスコア78.2%、mDiceスコア86.1%を達成し、背景と人物の2つのクラスで評価した。
論文 参考訳（メタデータ） (2024-04-08T08:53:54Z) - Improving Underwater Visual Tracking With a Large Scale Dataset and
Image Enhancement [70.2429155741593]
本稿では,水中ビジュアルオブジェクト追跡(UVOT)のための新しいデータセットと汎用トラッカ拡張手法を提案する。
水中環境は、一様でない照明条件、視界の低さ、鋭さの欠如、コントラストの低さ、カモフラージュ、懸濁粒子からの反射を示す。
本研究では,追尾品質の向上に特化して設計された水中画像強調アルゴリズムを提案する。
この手法により、最先端(SOTA)ビジュアルトラッカーの最大5.0%のAUCの性能が向上した。
論文 参考訳（メタデータ） (2023-08-30T07:41:26Z) - On the Generation of a Synthetic Event-Based Vision Dataset for
Navigation and Landing [69.34740063574921]
本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。
我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。
パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
論文 参考訳（メタデータ） (2023-08-01T09:14:20Z) - Achelous: A Fast Unified Water-surface Panoptic Perception Framework
based on Fusion of Monocular Camera and 4D mmWave Radar [7.225125838672763]
現在のマルチタスク認識モデルは、パラメータが巨大で、推論が遅く、拡張性がない。
本研究では,モノクロカメラと4D mmWaveレーダの融合に基づく水面認識のための低コストで高速な一眼レフ知覚フレームワークであるAchelousを提案する。
アシェルスは同時に、視覚的目標の検出とセグメンテーション、乾燥可能な領域セグメンテーション、ウォーターラインセグメンテーション、レーダーポイントクラウドセグメンテーションの5つのタスクを実行することができる。
論文 参考訳（メタデータ） (2023-07-14T00:24:30Z) - FLSea: Underwater Visual-Inertial and Stereo-Vision Forward-Looking
Datasets [8.830479021890575]
我々は,地中海と紅海の前方視像と視界慣性画像集合を収集した。
これらのデータセットは、障害物回避、視覚計測、3Dトラッキング、3Dローカライゼーションとマッピング(SLAM)、深さ推定など、いくつかの水中アプリケーションの開発に欠かせない。
論文 参考訳（メタデータ） (2023-02-24T17:39:53Z) - R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of
Dynamic Scenes [69.6715406227469]
駆動シナリオにおける自己教師付き単眼深度推定は、教師付きアプローチに匹敵する性能を達成した。
本稿では,自己監督型深度推定フレームワーク上に費用効率の高いレーダデータを利用する新しい手法であるR4Dynを提案する。
論文 参考訳（メタデータ） (2021-08-10T17:57:03Z) - Safe Vessel Navigation Visually Aided by Autonomous Unmanned Aerial
Vehicles in Congested Harbors and Waterways [9.270928705464193]
この研究は、従来のRGBカメラと補助的な絶対位置決めシステム(GPSなど)で捉えた長距離視覚データから未知の物体までの距離を検知し推定する最初の試みである。
シミュレーション結果は,UAV支援艦艇の視覚支援航法における提案手法の精度と有効性を示すものである。
論文 参考訳（メタデータ） (2021-08-09T08:15:17Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳（メタデータ） (2020-09-30T19:01:33Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。