論文の概要: Efficient-VRNet: An Exquisite Fusion Network for Riverway Panoptic
Perception based on Asymmetric Fair Fusion of Vision and 4D mmWave Radar
- arxiv url: http://arxiv.org/abs/2308.10287v1
- Date: Sun, 20 Aug 2023 14:53:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 16:30:36.874409
- Title: Efficient-VRNet: An Exquisite Fusion Network for Riverway Panoptic
Perception based on Asymmetric Fair Fusion of Vision and 4D mmWave Radar
- Title(参考訳): Efficient-VRNet: ビジョンの非対称フェアフュージョンと4Dmm波レーダに基づく河川路パノプティクス知覚のための精密核融合ネットワーク
- Authors: Runwei Guan, Shanliang Yao, Xiaohui Zhu, Ka Lok Man, Yong Yue, Jeremy
Smith, Eng Gee Lim, Yutao Yue
- Abstract要約: 本研究では,コンテキストクラスタリング(CoC)に基づくモデルであるEfficient-VRNetと,視覚の非対称融合と4D mmWaveレーダを提案する。
実験では、Efficient-VRNetは、収集したデータセット上で、他のユニモーダルモデルよりも優れたパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 7.6003809035338366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Panoptic perception is essential to unmanned surface vehicles (USVs) for
autonomous navigation. The current panoptic perception scheme is mainly based
on vision only, that is, object detection and semantic segmentation are
performed simultaneously based on camera sensors. Nevertheless, the fusion of
camera and radar sensors is regarded as a promising method which could
substitute pure vision methods, but almost all works focus on object detection
only. Therefore, how to maximize and subtly fuse the features of vision and
radar to improve both detection and segmentation is a challenge. In this paper,
we focus on riverway panoptic perception based on USVs, which is a considerably
unexplored field compared with road panoptic perception. We propose
Efficient-VRNet, a model based on Contextual Clustering (CoC) and the
asymmetric fusion of vision and 4D mmWave radar, which treats both vision and
radar modalities fairly. Efficient-VRNet can simultaneously perform detection
and segmentation of riverway objects and drivable area segmentation.
Furthermore, we adopt an uncertainty-based panoptic perception training
strategy to train Efficient-VRNet. In the experiments, our Efficient-VRNet
achieves better performances on our collected dataset than other uni-modal
models, especially in adverse weather and environment with poor lighting
conditions. Our code and models are available at
\url{https://github.com/GuanRunwei/Efficient-VRNet}.
- Abstract(参考訳): 自律航法には、無人表面車両(USV)にパノプティクス認識が不可欠である。
現在の汎視知覚方式は、主に視覚のみに基づいており、カメラセンサに基づいてオブジェクト検出とセマンティックセグメンテーションを同時に行う。
それでも、カメラとレーダーセンサーの融合は、純粋な視覚的手法を代替できる有望な方法と考えられているが、ほとんどすべてが物体検出のみに焦点を当てている。
したがって、視覚とレーダーの特徴を最大限かつ微妙に融合して、検出とセグメンテーションの両方を改善する方法が課題である。
本稿では,usvsに基づく河川のパンオプティカル知覚に着目し,道路のパンオプティカル知覚に比べ,かなり未探索の分野である。
本研究では、コンテキストクラスタリング(CoC)に基づくモデルであるEfficient-VRNetと、視覚とレーダーの両方を公平に扱う4D mmWaveレーダの非対称融合を提案する。
効率的なvrnetは,河川物体の検出とセグメンテーションとドリブル領域セグメンテーションを同時に行うことができる。
さらに,不確実性に基づく汎視知覚訓練戦略を採用し,高能率VRNetを訓練する。
実験では,他のユニモーダルモデル,特に照明条件の悪い悪天候や環境において,収集したデータセットの性能が向上した。
私たちのコードとモデルは、 \url{https://github.com/GuanRunwei/Efficient-VRNet}で利用可能です。
関連論文リスト
- Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳(メタデータ) (2024-05-07T20:44:48Z) - BEVCar: Camera-Radar Fusion for BEV Map and Object Segmentation [22.870994478494566]
共同BEVオブジェクトとマップセグメンテーションのための新しいアプローチであるBEVCarを紹介する。
我々のアプローチの中核的な特徴は、まず生のレーダーデータのポイントベース符号化を学習することにある。
レーダ情報の導入は, 環境問題におけるロバスト性を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2024-03-18T13:14:46Z) - FENet: Focusing Enhanced Network for Lane Detection [0.0]
この研究は、Focusing Smpling、Partial Field of View Evaluation、Enhanced FPN Architecture、Directional IoU Lossで拡張されたネットワークのパイオニアである。
実験では、均一なアプローチとは異なり、重要な遠隔の細部を強調しながら、集中サンプリング戦略を実証した。
今後の方向性には、道路上のデータ収集や、補完的な2つのフレームワークの統合などが含まれる。
論文 参考訳(メタデータ) (2023-12-28T17:52:09Z) - MVFAN: Multi-View Feature Assisted Network for 4D Radar Object Detection [15.925365473140479]
4Dレーダーは、悪天候下での弾力性と費用対効果が認められている。
LiDARやカメラとは異なり、レーダーは厳しい気象条件で損傷を受けないままである。
本稿では,自律走行車のためのレーダーによる3次元物体検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-25T06:10:07Z) - Super-Resolution Radar Imaging with Sparse Arrays Using a Deep Neural
Network Trained with Enhanced Virtual Data [0.4640835690336652]
本稿では,極薄レーダー開口部からのレーダデータを完全に処理できるディープニューラルネットワーク(DNN)に基づく手法を提案する。
提案したDNN処理は、エイリアスフリーレーダイメージングと超解像の両方を提供することができる。
完全に占有された配列で達成されるのとほぼ同じ解像度と画質を同時に提供する。
論文 参考訳(メタデータ) (2023-06-16T13:37:47Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-05-22T07:09:35Z) - NVRadarNet: Real-Time Radar Obstacle and Free Space Detection for
Autonomous Driving [57.03126447713602]
本稿では,自動車のRADARセンサを用いて動的障害物や乾燥可能な自由空間を検出するディープニューラルネットワーク(DNN)を提案する。
ネットワークは組み込みGPU上でリアルタイムよりも高速に動作し、地理的領域にわたって優れた一般化を示す。
論文 参考訳(メタデータ) (2022-09-29T01:30:34Z) - StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。
本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。
本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
論文 参考訳(メタデータ) (2022-07-21T12:03:02Z) - Deep Instance Segmentation with High-Resolution Automotive Radar [2.167586397005864]
本稿では,レーダ検出点を用いた2つの効率的な分割法を提案する。
1つは、PointNet++フレームワークを使用してエンドツーエンドのディープラーニング駆動方式で実装されている。
もう一つは、セマンティック情報を用いたレーダー検出点のクラスタリングに基づいている。
論文 参考訳(メタデータ) (2021-10-05T01:18:27Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳(メタデータ) (2020-07-28T17:15:02Z) - End-to-end Learning for Inter-Vehicle Distance and Relative Velocity
Estimation in ADAS with a Monocular Camera [81.66569124029313]
本稿では,ディープニューラルネットワークのエンドツーエンドトレーニングに基づくカメラによる車間距離と相対速度推定手法を提案する。
提案手法の重要な特徴は,2つの時間的単眼フレームによって提供される複数の視覚的手がかりの統合である。
また,移動場における視線歪みの影響を緩和する車両中心サンプリング機構を提案する。
論文 参考訳(メタデータ) (2020-06-07T08:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。