論文の概要: ROFusion: Efficient Object Detection using Hybrid Point-wise Radar-Optical Fusion

• arxiv url: http://arxiv.org/abs/2307.08233v1
• Date: Mon, 17 Jul 2023 04:25:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 14:55:15.144142
• Title: ROFusion: Efficient Object Detection using Hybrid Point-wise Radar-Optical Fusion
• Title（参考訳）: ROFusion:Hybrid Point-wise Radar-Optical Fusionを用いた効率的な物体検出
• Authors: Liu Liu, Shuaifeng Zhi, Zhenhua Du, Li Liu, Xinyu Zhang, Kai Huo, and Weidong Jiang
• Abstract要約: 本稿では,自律走行シナリオにおける物体検出のためのハイブリッドなポイントワイドレーダ・オプティカル融合手法を提案する。 このフレームワークは、マルチモーダルな特徴表現を学習するために統合されたレンジドップラースペクトルと画像の両方からの密集したコンテキスト情報から恩恵を受ける。
• 参考スコア（独自算出の注目度）: 14.419658061805507
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radars, due to their robustness to adverse weather conditions and ability to measure object motions, have served in autonomous driving and intelligent agents for years. However, Radar-based perception suffers from its unintuitive sensing data, which lack of semantic and structural information of scenes. To tackle this problem, camera and Radar sensor fusion has been investigated as a trending strategy with low cost, high reliability and strong maintenance. While most recent works explore how to explore Radar point clouds and images, rich contextual information within Radar observation are discarded. In this paper, we propose a hybrid point-wise Radar-Optical fusion approach for object detection in autonomous driving scenarios. The framework benefits from dense contextual information from both the range-doppler spectrum and images which are integrated to learn a multi-modal feature representation. Furthermore, we propose a novel local coordinate formulation, tackling the object detection task in an object-centric coordinate. Extensive results show that with the information gained from optical images, we could achieve leading performance in object detection (97.69\% recall) compared to recent state-of-the-art methods FFT-RadNet (82.86\% recall). Ablation studies verify the key design choices and practicability of our approach given machine generated imperfect detections. The code will be available at https://github.com/LiuLiu-55/ROFusion.
• Abstract（参考訳）: レーダーは、悪天候条件に対する頑丈さと物体の動きを測定する能力のために、自律運転や知的エージェントとして長年使われてきた。 しかし、レーダーベースの知覚は直感的なセンシングデータに苦しめられ、シーンの意味的、構造的な情報が欠落している。 この問題に対処するため,カメラとレーダセンサの融合は低コストで信頼性が高く,保守性も高いトレンド戦略として検討されている。 最近の研究でレーダーポイントの雲や画像の探索方法が研究されているが、レーダー観測における豊富な文脈情報は破棄されている。 本稿では,自律走行シナリオにおける物体検出のためのハイブリッドポイントワイドレーダ・オプティカル融合手法を提案する。 このフレームワークは、マルチモーダルな特徴表現を学習するために統合されたレンジドップラースペクトルと画像の両方からの密集したコンテキスト情報から恩恵を受ける。 さらに,オブジェクト中心座標における物体検出タスクに対処する新しい局所座標定式化を提案する。 その結果、光学画像から得られる情報により、最近の最先端のFFT-RadNet(82.86\%リコール)と比較して、物体検出(97.69\%リコール)における先行的な性能を達成することができた。 アブレーション研究は, 機械が生成する不完全な検出手法の鍵となる設計選択と実用性を検証する。 コードはhttps://github.com/LiuLiu-55/ROFusion.comから入手できる。

関連論文リスト

• Multi-Object Tracking based on Imaging Radar 3D Object Detection [0.13499500088995461]
  本稿では,古典的追跡アルゴリズムを用いて,周囲の交通参加者を追跡する手法を提案する。 学習に基づく物体検出器はライダーとカメラのデータに適切に対応し、学習に基づく物体検出器は標準のレーダーデータ入力により劣っていることが示されている。 レーダセンサ技術の改良により、レーダの物体検出性能は大幅に改善されたが、レーダ点雲の広さによりライダーセンサに制限されている。 追跡アルゴリズムは、一貫したトラックを生成しながら、限られた検出品質を克服しなければならない。
  論文  参考訳（メタデータ） (2024-06-03T05:46:23Z)
• Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
  本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。 提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。 本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-07T20:44:48Z)
• Radar-Lidar Fusion for Object Detection by Designing Effective Convolution Networks [18.17057711053028]
  オブジェクト検出の強化のために,レーダデータとライダーデータを統合したデュアルブランチフレームワークを提案する。 この結果は、最先端の手法を1.89%ドルと2.61%ドルで上回り、好ましくない気象条件で上回っていることを示している。
  論文  参考訳（メタデータ） (2023-10-30T10:18:40Z)
• Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
  本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。 具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
  論文  参考訳（メタデータ） (2023-07-31T09:53:50Z)
• Multi-Task Cross-Modality Attention-Fusion for 2D Object Detection [6.388430091498446]
  レーダとカメラデータの整合性を向上する2つの新しいレーダ前処理手法を提案する。 また,オブジェクト検出のためのMulti-Task Cross-Modality Attention-Fusion Network (MCAF-Net)を導入する。 我々のアプローチは、nuScenesデータセットにおける現在の最先端のレーダーカメラフュージョンベースのオブジェクト検出器よりも優れています。
  論文  参考訳（メタデータ） (2023-07-17T09:26:13Z)
• Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object Detection [78.59426158981108]
  この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。 我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-06-02T10:57:41Z)
• MVFusion: Multi-View 3D Object Detection with Semantic-aligned Radar and Camera Fusion [6.639648061168067]
  マルチビューレーダーカメラで融合した3Dオブジェクト検出は、より遠くの検知範囲と自律運転に有用な機能を提供する。 現在のレーダーとカメラの融合方式は、レーダー情報をカメラデータで融合するための種類の設計を提供する。 セマンティック・アライメント・レーダ機能を実現するための新しいマルチビューレーダカメラフュージョン法であるMVFusionを提案する。
  論文  参考訳（メタデータ） (2023-02-21T08:25:50Z)
• RODNet: A Real-Time Radar Object Detection Network Cross-Supervised by Camera-Radar Fused Object 3D Localization [30.42848269877982]
  本稿では,カメラレーダ融合アルゴリズムによって相互に監視される深層レーダ物体検出ネットワーク RODNet を提案する。 提案したRDDNetは、レーダフィールド・オブ・ビュー(FoV)におけるオブジェクトの可能性を予測するための入力として、RF画像のシーケンスを用いる。 集中的な実験により,提案手法は平均精度86%,オブジェクト検出性能88%を達成した。
  論文  参考訳（メタデータ） (2021-02-09T22:01:55Z)
• LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion [52.59664614744447]
  本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。 自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
  論文  参考訳（メタデータ） (2020-10-02T00:13:00Z)
• Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
  本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。 レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。 実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
  論文  参考訳（メタデータ） (2020-09-30T19:01:33Z)
• RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
  我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。 我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。 RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
  論文  参考訳（メタデータ） (2020-07-28T17:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。