論文の概要: Efficient-VRNet: An Exquisite Fusion Network for Riverway Panoptic Perception based on Asymmetric Fair Fusion of Vision and 4D mmWave Radar

• arxiv url: http://arxiv.org/abs/2308.10287v1
• Date: Sun, 20 Aug 2023 14:53:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 16:30:36.874409
• Title: Efficient-VRNet: An Exquisite Fusion Network for Riverway Panoptic Perception based on Asymmetric Fair Fusion of Vision and 4D mmWave Radar
• Title（参考訳）: Efficient-VRNet: ビジョンの非対称フェアフュージョンと4Dmm波レーダに基づく河川路パノプティクス知覚のための精密核融合ネットワーク
• Authors: Runwei Guan, Shanliang Yao, Xiaohui Zhu, Ka Lok Man, Yong Yue, Jeremy Smith, Eng Gee Lim, Yutao Yue
• Abstract要約: 本研究では,コンテキストクラスタリング(CoC)に基づくモデルであるEfficient-VRNetと,視覚の非対称融合と4D mmWaveレーダを提案する。 実験では、Efficient-VRNetは、収集したデータセット上で、他のユニモーダルモデルよりも優れたパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 7.6003809035338366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Panoptic perception is essential to unmanned surface vehicles (USVs) for autonomous navigation. The current panoptic perception scheme is mainly based on vision only, that is, object detection and semantic segmentation are performed simultaneously based on camera sensors. Nevertheless, the fusion of camera and radar sensors is regarded as a promising method which could substitute pure vision methods, but almost all works focus on object detection only. Therefore, how to maximize and subtly fuse the features of vision and radar to improve both detection and segmentation is a challenge. In this paper, we focus on riverway panoptic perception based on USVs, which is a considerably unexplored field compared with road panoptic perception. We propose Efficient-VRNet, a model based on Contextual Clustering (CoC) and the asymmetric fusion of vision and 4D mmWave radar, which treats both vision and radar modalities fairly. Efficient-VRNet can simultaneously perform detection and segmentation of riverway objects and drivable area segmentation. Furthermore, we adopt an uncertainty-based panoptic perception training strategy to train Efficient-VRNet. In the experiments, our Efficient-VRNet achieves better performances on our collected dataset than other uni-modal models, especially in adverse weather and environment with poor lighting conditions. Our code and models are available at \url{https://github.com/GuanRunwei/Efficient-VRNet}.
• Abstract（参考訳）: 自律航法には、無人表面車両(USV)にパノプティクス認識が不可欠である。 現在の汎視知覚方式は、主に視覚のみに基づいており、カメラセンサに基づいてオブジェクト検出とセマンティックセグメンテーションを同時に行う。 それでも、カメラとレーダーセンサーの融合は、純粋な視覚的手法を代替できる有望な方法と考えられているが、ほとんどすべてが物体検出のみに焦点を当てている。 したがって、視覚とレーダーの特徴を最大限かつ微妙に融合して、検出とセグメンテーションの両方を改善する方法が課題である。 本稿では,usvsに基づく河川のパンオプティカル知覚に着目し,道路のパンオプティカル知覚に比べ,かなり未探索の分野である。 本研究では、コンテキストクラスタリング(CoC)に基づくモデルであるEfficient-VRNetと、視覚とレーダーの両方を公平に扱う4D mmWaveレーダの非対称融合を提案する。 効率的なvrnetは,河川物体の検出とセグメンテーションとドリブル領域セグメンテーションを同時に行うことができる。 さらに,不確実性に基づく汎視知覚訓練戦略を採用し,高能率VRNetを訓練する。 実験では,他のユニモーダルモデル,特に照明条件の悪い悪天候や環境において,収集したデータセットの性能が向上した。 私たちのコードとモデルは、 \url{https://github.com/GuanRunwei/Efficient-VRNet}で利用可能です。

関連論文リスト

• STCMOT: Spatio-Temporal Cohesion Learning for UAV-Based Multiple Object Tracking [13.269416985959404]
  無人航空機(UAV)ビデオにおける複数物体追跡(MOT)は、コンピュータビジョンにおける多様な用途において重要である。 時空間結合型多目的追跡フレームワーク(STCMOT)を提案する。 歴史的埋め込み機能を用いて,ReIDの表現と検出機能を逐次的にモデル化する。 我々のフレームワークはMOTAとIDF1メトリクスで新しい最先端のパフォーマンスを設定します。
  論文  参考訳（メタデータ） (2024-09-17T14:34:18Z)
• RCBEVDet++: Toward High-accuracy Radar-Camera Fusion 3D Perception Network [34.45694077040797]
  本稿では、BEEVDetと呼ばれるレーダーカメラ融合3Dオブジェクト検出フレームワークを提案する。 RadarBEVNetは、スパースレーダーポイントを高密度の鳥の目視特徴に符号化する。 提案手法は,3次元オブジェクト検出,BEVセマンティックセグメンテーション,および3次元マルチオブジェクト追跡タスクにおいて,最先端のレーダカメラ融合を実現する。
  論文  参考訳（メタデータ） (2024-09-08T05:14:27Z)
• RS-DFM: A Remote Sensing Distributed Foundation Model for Diverse Downstream Tasks [11.681342476516267]
  汎用情報マッピングとインタラクションに基づく分散センシング基礎モデル(RS-DFM)を提案する。 このモデルは、複数のプラットフォームにわたるオンライン協調認識と、さまざまな下流タスクを実現することができる。 本稿では、高周波・低周波特徴情報を分離するデュアルブランチ情報圧縮モジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-11T07:46:47Z)
• A Point-Based Approach to Efficient LiDAR Multi-Task Perception [49.91741677556553]
  PAttFormerは、ポイントクラウドにおける共同セマンティックセグメンテーションとオブジェクト検出のための効率的なマルチタスクアーキテクチャである。 他のLiDARベースのマルチタスクアーキテクチャとは異なり、提案したPAttFormerはタスク固有のポイントクラウド表現のために別の機能エンコーダを必要としない。 マルチタスク学習では,mIouでは+1.7%,mAPでは3Dオブジェクト検出では+1.7%,LiDARセマンティックセマンティックセグメンテーションは+1.7%向上した。
  論文  参考訳（メタデータ） (2024-04-19T11:24:34Z)
• Simultaneous Clutter Detection and Semantic Segmentation of Moving Objects for Automotive Radar Data [12.96486891333286]
  レーダセンサは、自動運転車の環境認識システムにおいて重要な部分である。 レーダーポイント雲の処理における最初のステップの1つは、しばしば乱れの検出である。 もう一つの一般的な目的は、移動道路利用者のセマンティックセグメンテーションである。 我々は,RadarScenesデータセットのセマンティックセマンティックセグメンテーションにおいて,我々の設定が極めて効果的であることを示し,既存のネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T11:29:38Z)
• LiDAR-BEVMTN: Real-Time LiDAR Bird's-Eye View Multi-Task Perception Network for Autonomous Driving [12.713417063678335]
  本稿では,LiDARに基づくオブジェクト検出,意味論,動作セグメンテーションのためのリアルタイムマルチタスク畳み込みニューラルネットワークを提案する。 オブジェクト検出を選択的に改善するためのセマンティック・ウェイト・アンド・ガイダンス(SWAG)モジュールを提案する。 我々は,2つのタスク,セマンティックとモーションセグメンテーション,および3Dオブジェクト検出のための最先端性能に近い2つのタスクに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-07-17T21:22:17Z)
• PSNet: Parallel Symmetric Network for Video Salient Object Detection [85.94443548452729]
  我々は,PSNet という名前のアップ・ダウン・パラレル対称性を持つ VSOD ネットワークを提案する。 2つの並列ブランチが、ビデオの完全サリエンシ復号化を実現するために設定されている。
  論文  参考訳（メタデータ） (2022-10-12T04:11:48Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Know Your Surroundings: Panoramic Multi-Object Tracking by Multimodality Collaboration [56.01625477187448]
  MMPAT(MultiModality PAnoramic Multi-object Tracking framework)を提案する。 2次元パノラマ画像と3次元点雲を入力とし、マルチモーダルデータを用いて目標軌道を推定する。 提案手法は,検出タスクと追跡タスクの両方においてMMPATが最高性能を達成するJRDBデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-05-31T03:16:38Z)
• Improving Point Cloud Semantic Segmentation by Learning 3D Object Detection [102.62963605429508]
  ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。 現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。 Aware 3D Semantic Detection (DASS) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-22T14:17:40Z)
• Anchor-free Small-scale Multispectral Pedestrian Detection [88.7497134369344]
  適応型単一段アンカーフリーベースアーキテクチャにおける2つのモードの効果的かつ効率的な多重スペクトル融合法を提案する。 我々は,直接的境界ボックス予測ではなく,対象の中心と規模に基づく歩行者表現の学習を目指す。 その結果,小型歩行者の検出における本手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-08-19T13:13:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。