論文の概要: Radar Camera Fusion via Representation Learning in Autonomous Driving
- arxiv url: http://arxiv.org/abs/2103.07825v1
- Date: Sun, 14 Mar 2021 01:32:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-17 06:35:56.442303
- Title: Radar Camera Fusion via Representation Learning in Autonomous Driving
- Title（参考訳）: 自律運転における表現学習によるレーダカメラ融合
- Authors: Xu Dong, Binnan Zhuang, Yunxiang Mao, Langechuan Liu
- Abstract要約: レーダーカメラ融合の成功の鍵は、正確なデータ関連付けです。
従来のルールに基づくアソシエーション手法は、難解なシナリオやコーナーケースの障害でパフォーマンスが低下するおそれがある。
本稿では,rad-camアソシエーションを深層表現学習を通じて解決し,機能レベルのインタラクションとグローバル推論を検討する。
- 参考スコア（独自算出の注目度）: 4.278336455989584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Radars and cameras are mature, cost-effective, and robust sensors and have
been widely used in the perception stack of mass-produced autonomous driving
systems. Due to their complementary properties, outputs from radar detection
(radar pins) and camera perception (2D bounding boxes) are usually fused to
generate the best perception results. The key to successful radar-camera fusion
is accurate data association. The challenges in radar-camera association can be
attributed to the complexity of driving scenes, the noisy and sparse nature of
radar measurements, and the depth ambiguity from 2D bounding boxes. Traditional
rule-based association methods are susceptible to performance degradation in
challenging scenarios and failure in corner cases. In this study, we propose to
address rad-cam association via deep representation learning, to explore
feature-level interaction and global reasoning. Concretely, we design a loss
sampling mechanism and an innovative ordinal loss to overcome the difficulty of
imperfect labeling and to enforce critical human reasoning. Despite being
trained with noisy labels generated by a rule-based algorithm, our proposed
method achieves a performance of 92.2% F1 score, which is 11.6% higher than the
rule-based teacher. Moreover, this data-driven method also lends itself to
continuous improvement via corner case mining.
- Abstract（参考訳）: レーダーとカメラは成熟し、コスト効率が高く、堅牢なセンサーであり、大量生産された自動運転システムの認識スタックで広く利用されている。
その相補的な性質のため、レーダー検出(レーダーピン)とカメラ認識(2dバウンディングボックス)からの出力は通常融合され、最良の知覚結果を生成する。
レーダーカメラ融合の成功の鍵は、正確なデータ関連付けです。
レーダ・カメラ・アソシエーションの課題は、運転シーンの複雑さ、レーダ測定のノイズとスパースの性質、および2次元境界ボックスからの深さのあいまいさに起因する。
従来のルールに基づくアソシエーション手法は、難解なシナリオやコーナーケースの障害でパフォーマンスが低下するおそれがある。
本研究では,rad-camアソシエーションを深層表現学習を通じて解決し,機能レベルのインタラクションとグローバル推論を検討する。
具体的には,不完全なラベル付けの難しさを克服し,人間の批判的推論を強制するために,損失サンプリング機構と革新的な順序的損失をデザインする。
規則に基づくアルゴリズムによって生成された雑音ラベルを用いて学習したにもかかわらず,提案手法は92.2%のf1スコアを達成し,これは規則に基づく教師よりも11.6%高い。
さらに,このデータ駆動方式は,コーナーケースマイニングによる継続的改善にも有効だ。
関連論文リスト
- Bootstrapping Autonomous Driving Radars with Self-Supervised Learning [13.13679517730015]
レーダモデルの訓練は、大規模レーダデータの注釈付けのコストと難しさによって妨げられている。
本研究では,未ラベルのレーダデータを事前学習型レーダのみの埋め込みに活用して,自律型認識タスクを実現するための自己教師型学習フレームワークを提案する。
下流オブジェクト検出に使用する場合、提案するセルフスーパービジョンフレームワークが、最先端の教師付きベースラインの精度をmAPで5.8%向上できることを実証する。
論文 参考訳（メタデータ） (2023-12-07T18:38:39Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - ROFusion: Efficient Object Detection using Hybrid Point-wise
Radar-Optical Fusion [14.419658061805507]
本稿では,自律走行シナリオにおける物体検出のためのハイブリッドなポイントワイドレーダ・オプティカル融合手法を提案する。
このフレームワークは、マルチモーダルな特徴表現を学習するために統合されたレンジドップラースペクトルと画像の両方からの密集したコンテキスト情報から恩恵を受ける。
論文 参考訳（メタデータ） (2023-07-17T04:25:46Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-05-22T07:09:35Z) - RadarFormer: Lightweight and Accurate Real-Time Radar Object Detection
Model [13.214257841152033]
レーダー中心のデータセットは、レーダー知覚のためのディープラーニング技術の開発にはあまり注目されていない。
本稿では,視覚深層学習における最先端技術を活用したトランスフォーマーモデルRadarFormerを提案する。
また、チャネルチャープ時マージモジュールを導入し、精度を損なうことなく、モデルのサイズと複雑さを10倍以上に削減する。
論文 参考訳（メタデータ） (2023-04-17T17:07:35Z) - Camera-Radar Perception for Autonomous Vehicles and ADAS: Concepts,
Datasets and Metrics [77.34726150561087]
本研究の目的は、ADASおよび自動運転車のカメラおよびレーダーによる認識の現在のシナリオに関する研究を行うことである。
両センサと融合に関する概念と特徴を提示する。
本稿では、ディープラーニングに基づく検出とセグメンテーションタスクの概要と、車両の認識における主要なデータセット、メトリクス、課題、オープンな質問について説明する。
論文 参考訳（メタデータ） (2023-03-08T00:48:32Z) - Exploiting Temporal Relations on Radar Perception for Autonomous Driving [26.736501544682294]
我々は、連続するエゴ中心の鳥眼視レーダー画像フレームからの時間情報をレーダオブジェクト認識に活用する。
本研究では,連続するレーダ画像内の物体間の関係を明示的にモデル化する時間関係層を提案する。
論文 参考訳（メタデータ） (2022-04-03T23:52:25Z) - Deep Instance Segmentation with High-Resolution Automotive Radar [2.167586397005864]
本稿では,レーダ検出点を用いた2つの効率的な分割法を提案する。
1つは、PointNet++フレームワークを使用してエンドツーエンドのディープラーニング駆動方式で実装されている。
もう一つは、セマンティック情報を用いたレーダー検出点のクラスタリングに基づいている。
論文 参考訳（メタデータ） (2021-10-05T01:18:27Z) - Complex-valued Convolutional Neural Networks for Enhanced Radar Signal
Denoising and Interference Mitigation [73.0103413636673]
本稿では,レーダセンサ間の相互干渉問題に対処するために,複合価値畳み込みニューラルネットワーク(CVCNN)を提案する。
CVCNNはデータ効率を高め、ネットワークトレーニングを高速化し、干渉除去時の位相情報の保存を大幅に改善する。
論文 参考訳（メタデータ） (2021-04-29T10:06:29Z) - Automotive Radar Interference Mitigation with Unfolded Robust PCA based
on Residual Overcomplete Auto-Encoder Blocks [88.46770122522697]
自律走行では、レーダーシステムは道路上の他の車両のような標的を検出する上で重要な役割を果たす。
自動車用レーダー干渉緩和のための深層学習手法は、目標の振幅を確実に推定できるが、それぞれの目標の位相を回復できない。
干渉の有無で振幅と位相の両方を推定できる効率的かつ効率的な手法を提案する。
論文 参考訳（メタデータ） (2020-10-14T09:41:06Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。