論文の概要: Warping of Radar Data into Camera Image for Cross-Modal Supervision in Automotive Applications

• arxiv url: http://arxiv.org/abs/2012.12809v1
• Date: Wed, 23 Dec 2020 17:12:59 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-25 18:17:26.816017
• Title: Warping of Radar Data into Camera Image for Cross-Modal Supervision in Automotive Applications
• Title（参考訳）: 自動車用クロスモーダル監視用カメラ画像へのレーダデータのワーピング
• Authors: Christopher Grimm, Tai Fei, Ernst Warsitz, Ridha Farhoud, Tobias Breddermann, Reinhold Haeb-Umbach
• Abstract要約: 本稿では,レーダレンジドップラー(RD)スペクトルをカメラ画像に投影する新しい枠組みを提案する。 カメラ、ライダー、レーダーから供給される新しいシーンフロー推定アルゴリズムを提示し、ワーピング操作の精度を向上させる。 本フレームワークは,カメラデータからの指向性推定(DoA),ターゲット検出,セマンティックセグメンテーション,レーダパワー推定など,複数のアプリケーションで実証されている。
• 参考スコア（独自算出の注目度）: 17.592974060001993
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we present a novel framework to project automotive radar range-Doppler (RD) spectrum into camera image. The utilized warping operation is designed to be fully differentiable, which allows error backpropagation through the operation. This enables the training of neural networks (NN) operating exclusively on RD spectrum by utilizing labels provided from camera vision models. As the warping operation relies on accurate scene flow, additionally, we present a novel scene flow estimation algorithm fed from camera, lidar and radar, enabling us to improve the accuracy of the warping operation. We demonstrate the framework in multiple applications like direction-of-arrival (DoA) estimation, target detection, semantic segmentation and estimation of radar power from camera data. Extensive evaluations have been carried out for the DoA application and suggest superior quality for NN based estimators compared to classical estimators. The novel scene flow estimation approach is benchmarked against state-of-the-art scene flow algorithms and outperforms them by roughly a third.
• Abstract（参考訳）: 本稿では,自動車用レーダレンジドップラー(rd)スペクトルをカメラ画像に投影する新しい枠組みを提案する。 使用済みのワーピング操作は、操作を通じてエラーバックプロパゲーションを可能にするため、完全に微分可能なように設計されている。 これにより、カメラビジョンモデルから提供されるラベルを利用することで、RDスペクトルのみで動作するニューラルネットワーク(NN)のトレーニングが可能になる。 ウォーピング操作は正確なシーンフローに依存するため,カメラ,ライダー,レーダーから供給されるシーンフロー推定アルゴリズムを提案することにより,ウォーピング動作の精度を向上させることができる。 本フレームワークは,カメラデータからの指向性推定(DoA),ターゲット検出,セマンティックセグメンテーション,レーダパワー推定など,複数のアプリケーションで実証されている。 広範に評価を行った結果,従来の推定値と比較してNNベース推定値に優れた品質が示唆された。 新たなシーンフロー推定手法は,最先端のシーンフローアルゴリズムに対してベンチマークを行い,約3分の1の精度で評価する。

関連論文リスト

• RobuRCDet: Enhancing Robustness of Radar-Camera Fusion in Bird's Eye View for 3D Object Detection [68.99784784185019]
  暗い照明や悪天候はカメラの性能を低下させる。 レーダーは騒音と位置のあいまいさに悩まされる。 本稿では,BEVの頑健な物体検出モデルであるRobuRCDetを提案する。
  論文  参考訳（メタデータ） (2025-02-18T17:17:38Z)
• A Resource Efficient Fusion Network for Object Detection in Bird's-Eye View using Camera and Raw Radar Data [7.2508100569856975]
  レーダデータの生のレンジ・ドップラースペクトルを用いてカメラ画像を処理する。 カメラエンコーダデコーダアーキテクチャを用いて,対応する特徴を抽出する。 得られた特徴写像はレンジ・アジマス特徴と融合し、RDスペクトルから復元して物体検出を行う。
  論文  参考訳（メタデータ） (2024-11-20T13:26:13Z)
• Multi-Object Tracking based on Imaging Radar 3D Object Detection [0.13499500088995461]
  本稿では,古典的追跡アルゴリズムを用いて,周囲の交通参加者を追跡する手法を提案する。 学習に基づく物体検出器はライダーとカメラのデータに適切に対応し、学習に基づく物体検出器は標準のレーダーデータ入力により劣っていることが示されている。 レーダセンサ技術の改良により、レーダの物体検出性能は大幅に改善されたが、レーダ点雲の広さによりライダーセンサに制限されている。 追跡アルゴリズムは、一貫したトラックを生成しながら、限られた検出品質を克服しなければならない。
  論文  参考訳（メタデータ） (2024-06-03T05:46:23Z)
• RadarOcc: Robust 3D Occupancy Prediction with 4D Imaging Radar [15.776076554141687]
  3D占有に基づく知覚パイプラインは、かなり進歩した自律運転を持つ。 現在の方法では、LiDARやカメラの入力を3D占有率予測に頼っている。 本稿では,4次元イメージングレーダセンサを用いた3次元占有予測手法を提案する。
  論文  参考訳（メタデータ） (2024-05-22T21:48:17Z)
• Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
  本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。 提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。 本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
  論文  参考訳（メタデータ） (2024-05-07T20:44:48Z)
• OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
  本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。 我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。 意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:52Z)
• Semantic Segmentation of Radar Detections using Convolutions on Point Clouds [59.45414406974091]
  本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。 このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。 我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-05-22T07:09:35Z)
• Deep Learning Computer Vision Algorithms for Real-time UAVs On-board Camera Image Processing [77.34726150561087]
  本稿では,ディープラーニングに基づくコンピュータビジョンアルゴリズムを用いて,小型UAVのリアルタイムセンサ処理を実現する方法について述べる。 すべてのアルゴリズムは、ディープニューラルネットワークに基づく最先端の画像処理手法を用いて開発されている。
  論文  参考訳（メタデータ） (2022-11-02T11:10:42Z)
• HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar [30.51398364813315]
  本稿では,ミリ波レーダを用いた人間のポーズ推定ベンチマーク「Human Pose with Millimeter Wave Radar (HuPR)」を紹介する。 このデータセットは、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングのために、クロスキャリブレーションされたmmWaveレーダセンサとモノクラーRGBカメラを用いて作成される。
  論文  参考訳（メタデータ） (2022-10-22T22:28:40Z)
• Rethinking Drone-Based Search and Rescue with Aerial Person Detection [79.76669658740902]
  航空ドローンの映像の視覚検査は、現在土地捜索救助(SAR)活動に不可欠な部分である。 本稿では,この空中人物検出(APD)タスクを自動化するための新しいディープラーニングアルゴリズムを提案する。 本稿では,Aerial Inspection RetinaNet (AIR) アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-11-17T21:48:31Z)
• RSS-Net: Weakly-Supervised Multi-Class Semantic Segmentation with FMCW Radar [26.56755178602111]
  我々は、このタスクに使用される従来のセンサーよりも、より長い範囲で動作し、悪天候や照明条件に対してかなり堅牢なレーダーを提唱する。 RGBカメラやLiDARセンサーとレーダースキャンを関連付け,これまでに収集された最大の都市自治データセットを利用する。 本稿では,マルチチャンネル・レーダ・スキャン・インプットを用いて,短命でダイナミックなシーン・オブジェクトを扱うネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-02T11:40:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。