論文の概要: Warping of Radar Data into Camera Image for Cross-Modal Supervision in
Automotive Applications
- arxiv url: http://arxiv.org/abs/2012.12809v1
- Date: Wed, 23 Dec 2020 17:12:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-25 18:17:26.816017
- Title: Warping of Radar Data into Camera Image for Cross-Modal Supervision in
Automotive Applications
- Title(参考訳): 自動車用クロスモーダル監視用カメラ画像へのレーダデータのワーピング
- Authors: Christopher Grimm, Tai Fei, Ernst Warsitz, Ridha Farhoud, Tobias
Breddermann, Reinhold Haeb-Umbach
- Abstract要約: 本稿では,レーダレンジドップラー(RD)スペクトルをカメラ画像に投影する新しい枠組みを提案する。
カメラ、ライダー、レーダーから供給される新しいシーンフロー推定アルゴリズムを提示し、ワーピング操作の精度を向上させる。
本フレームワークは,カメラデータからの指向性推定(DoA),ターゲット検出,セマンティックセグメンテーション,レーダパワー推定など,複数のアプリケーションで実証されている。
- 参考スコア(独自算出の注目度): 17.592974060001993
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In this paper, we present a novel framework to project automotive radar
range-Doppler (RD) spectrum into camera image. The utilized warping operation
is designed to be fully differentiable, which allows error backpropagation
through the operation. This enables the training of neural networks (NN)
operating exclusively on RD spectrum by utilizing labels provided from camera
vision models. As the warping operation relies on accurate scene flow,
additionally, we present a novel scene flow estimation algorithm fed from
camera, lidar and radar, enabling us to improve the accuracy of the warping
operation. We demonstrate the framework in multiple applications like
direction-of-arrival (DoA) estimation, target detection, semantic segmentation
and estimation of radar power from camera data. Extensive evaluations have been
carried out for the DoA application and suggest superior quality for NN based
estimators compared to classical estimators. The novel scene flow estimation
approach is benchmarked against state-of-the-art scene flow algorithms and
outperforms them by roughly a third.
- Abstract(参考訳): 本稿では,自動車用レーダレンジドップラー(rd)スペクトルをカメラ画像に投影する新しい枠組みを提案する。
使用済みのワーピング操作は、操作を通じてエラーバックプロパゲーションを可能にするため、完全に微分可能なように設計されている。
これにより、カメラビジョンモデルから提供されるラベルを利用することで、RDスペクトルのみで動作するニューラルネットワーク(NN)のトレーニングが可能になる。
ウォーピング操作は正確なシーンフローに依存するため,カメラ,ライダー,レーダーから供給されるシーンフロー推定アルゴリズムを提案することにより,ウォーピング動作の精度を向上させることができる。
本フレームワークは,カメラデータからの指向性推定(DoA),ターゲット検出,セマンティックセグメンテーション,レーダパワー推定など,複数のアプリケーションで実証されている。
広範に評価を行った結果,従来の推定値と比較してNNベース推定値に優れた品質が示唆された。
新たなシーンフロー推定手法は,最先端のシーンフローアルゴリズムに対してベンチマークを行い,約3分の1の精度で評価する。
関連論文リスト
- Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-05-22T07:09:35Z) - Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。
我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
論文 参考訳(メタデータ) (2022-11-15T13:52:41Z) - Deep Learning Computer Vision Algorithms for Real-time UAVs On-board
Camera Image Processing [77.34726150561087]
本稿では,ディープラーニングに基づくコンピュータビジョンアルゴリズムを用いて,小型UAVのリアルタイムセンサ処理を実現する方法について述べる。
すべてのアルゴリズムは、ディープニューラルネットワークに基づく最先端の画像処理手法を用いて開発されている。
論文 参考訳(メタデータ) (2022-11-02T11:10:42Z) - HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar [30.51398364813315]
本稿では,ミリ波レーダを用いた人間のポーズ推定ベンチマーク「Human Pose with Millimeter Wave Radar (HuPR)」を紹介する。
このデータセットは、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングのために、クロスキャリブレーションされたmmWaveレーダセンサとモノクラーRGBカメラを用いて作成される。
論文 参考訳(メタデータ) (2022-10-22T22:28:40Z) - Rethinking Drone-Based Search and Rescue with Aerial Person Detection [79.76669658740902]
航空ドローンの映像の視覚検査は、現在土地捜索救助(SAR)活動に不可欠な部分である。
本稿では,この空中人物検出(APD)タスクを自動化するための新しいディープラーニングアルゴリズムを提案する。
本稿では,Aerial Inspection RetinaNet (AIR) アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2021-11-17T21:48:31Z) - Full-Velocity Radar Returns by Radar-Camera Fusion [20.741391191916197]
本稿では、カメラ画像からの対応する光フローを用いて、ドップラー帰還のポイントワイド全速度推定法を提案する。
また、レーダ・カメラ対応を推定するニューラルネットワークを用いて、レーダ・リターンとカメラ画像の関連性にも対処する。
論文 参考訳(メタデータ) (2021-08-24T10:42:16Z) - Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing
Simulation-to-Real Domain Shift in LiDAR Bird's Eye View [110.83289076967895]
ドメイン適応プロセス中に関心のある小さなオブジェクトの情報を保存するために,事前の意味分類を用いたサイクガンに基づくbevドメイン適応法を提案する。
生成したBEVの品質は,KITTI 3D Object Detection Benchmarkの最先端3Dオブジェクト検出フレームワークを用いて評価されている。
論文 参考訳(メタデータ) (2021-04-22T12:47:37Z) - Multi-View Radar Semantic Segmentation [3.2093811507874768]
自動車用レーダーは、周囲の物体の特性を測定する安価なアクティブセンサーである。
レーダー生データのサイズと複雑さのため、シーン理解にはほとんど使われない。
我々は,複数の新しいアーキテクチャとそれに伴う損失を提案し,レンジアングル・ドップラーレーダテンソルの複数の"ビュー"を分析し,意味的にセグメンテーションする。
論文 参考訳(メタデータ) (2021-03-30T09:56:41Z) - RadarLoc: Learning to Relocalize in FMCW Radar [36.68888832365474]
6-DoFのグローバルポーズを直接推定できる,自己アテンションを備えた新しいエンドツーエンドニューラルネットワークであるRadarLocを提案する。
我々は最近リリースされた屋外データセットOxford Radar RobotCarに対するアプローチを検証する。
論文 参考訳(メタデータ) (2021-03-22T03:22:37Z) - End-to-end Learning for Inter-Vehicle Distance and Relative Velocity
Estimation in ADAS with a Monocular Camera [81.66569124029313]
本稿では,ディープニューラルネットワークのエンドツーエンドトレーニングに基づくカメラによる車間距離と相対速度推定手法を提案する。
提案手法の重要な特徴は,2つの時間的単眼フレームによって提供される複数の視覚的手がかりの統合である。
また,移動場における視線歪みの影響を緩和する車両中心サンプリング機構を提案する。
論文 参考訳(メタデータ) (2020-06-07T08:18:31Z) - RSS-Net: Weakly-Supervised Multi-Class Semantic Segmentation with FMCW
Radar [26.56755178602111]
我々は、このタスクに使用される従来のセンサーよりも、より長い範囲で動作し、悪天候や照明条件に対してかなり堅牢なレーダーを提唱する。
RGBカメラやLiDARセンサーとレーダースキャンを関連付け,これまでに収集された最大の都市自治データセットを利用する。
本稿では,マルチチャンネル・レーダ・スキャン・インプットを用いて,短命でダイナミックなシーン・オブジェクトを扱うネットワークを提案する。
論文 参考訳(メタデータ) (2020-04-02T11:40:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。