Fugu-MT 論文翻訳(概要): Velocity Driven Vision: Asynchronous Sensor Fusion Birds Eye View Models for Autonomous Vehicles

論文の概要: Velocity Driven Vision: Asynchronous Sensor Fusion Birds Eye View Models for Autonomous Vehicles

arxiv url: http://arxiv.org/abs/2407.16636v2
Date: Wed, 24 Jul 2024 13:04:19 GMT
ステータス: 処理完了
システム内更新日: 2024-07-25 12:45:47.617522
Title: Velocity Driven Vision: Asynchronous Sensor Fusion Birds Eye View Models for Autonomous Vehicles
Title（参考訳）: 速度駆動型ビジョン:自律走行車のための非同期センサーフュージョンバードアイビューモデル
Authors: Seamie Hayes, Sushil Sharma, Ciarán Eising,
Abstract要約: 同期は、長い処理時間やキャリブレーション中の不適切な同期によって生じることがある。本稿では,レーダセンサとLiDARセンサがカメラセンサに対して非同期であることの課題について検討する。本稿では,速度情報を用いて将来のレーダポイント位置を推定する新しい手法を提案する。
参考スコア（独自算出の注目度）: 4.932130498861987
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Fusing different sensor modalities can be a difficult task, particularly if they are asynchronous. Asynchronisation may arise due to long processing times or improper synchronisation during calibration, and there must exist a way to still utilise this previous information for the purpose of safe driving, and object detection in ego vehicle/ multi-agent trajectory prediction. Difficulties arise in the fact that the sensor modalities have captured information at different times and also at different positions in space. Therefore, they are not spatially nor temporally aligned. This paper will investigate the challenge of radar and LiDAR sensors being asynchronous relative to the camera sensors, for various time latencies. The spatial alignment will be resolved before lifting into BEV space via the transformation of the radar/LiDAR point clouds into the new ego frame coordinate system. Only after this can we concatenate the radar/LiDAR point cloud and lifted camera features. Temporal alignment will be remedied for radar data only, we will implement a novel method of inferring the future radar point positions using the velocity information. Our approach to resolving the issue of sensor asynchrony yields promising results. We demonstrate velocity information can drastically improve IoU for asynchronous datasets, as for a time latency of 360 milliseconds (ms), IoU improves from 49.54 to 53.63. Additionally, for a time latency of 550ms, the camera+radar (C+R) model outperforms the camera+LiDAR (C+L) model by 0.18 IoU. This is an advancement in utilising the often-neglected radar sensor modality, which is less favoured than LiDAR for autonomous driving purposes.
Abstract（参考訳）: 異なるセンサーのモダリティを融合させることは、特に非同期である場合、難しい作業になる可能性がある。同期化は、キャリブレーション中の長い処理時間や不適切な同期によって起こりうるものであり、安全運転のためにこの以前の情報を引き続き活用する方法と、エゴ車/マルチエージェント軌道予測における物体検出が存在する必要がある。困難は、センサーのモジュラリティが異なる時間と異なる空間の異なる位置で情報をキャプチャしたという事実から生じる。そのため、空間的にも時間的にも一致しない。本稿では,レーダセンサとLiDARセンサがカメラセンサに対して非同期であることの課題について,様々な時間帯で検討する。空間アライメントは、レーダー/LiDAR点雲を新しいエゴフレーム座標系に変換することで、BEV空間に昇降する前に解決される。この後のみ、レーダー/LiDAR点雲とリフトカメラの特徴を結合できる。レーダデータのみの時間的アライメントを補正し、速度情報を用いて将来のレーダポイント位置を推定する新しい手法を実装する。センサ非同期の問題を解決するアプローチは,有望な結果をもたらす。速度情報は、360ミリ秒 (ms) の時間レイテンシにおいて、49.54から53.63に改善されるため、非同期データセットのIoUを大幅に改善できることを示す。さらに550msのレイテンシでは、カメラ+レーダー(C+R)モデルは、カメラ+LiDAR(C+L)モデルよりも0.18IoU性能が向上する。これは、しばしば無視されるレーダーセンサーのモダリティの活用の進歩であり、自動運転のためにLiDARよりもあまり好まれない。

関連論文リスト

Better Monocular 3D Detectors with LiDAR from the Past [64.6759926054061]
カメラベースの3D検出器は、画像の奥行きのあいまいさのため、LiDARベースの検出器に比べて性能が劣ることが多い。本研究では,未ラベルの歴史的LiDARデータを活用することにより,単分子3D検出器の改良を図る。複数の最先端モデルやデータセットに対して,9.66ミリ秒の追加レイテンシとストレージコストの低い,一貫性と大幅なパフォーマンス向上を示す。
論文参考訳（メタデータ） (2024-04-08T01:38:43Z)
Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous Driving [30.456314610767667]
CRUW3Dデータセットには、66K同期カメラ、レーダー、LiDARフレームが含まれる。この種のフォーマットは、カメラとレーダーの間の情報や特徴を融合させた後、機械学習モデルによりより信頼性の高い知覚結果が得られる。
論文参考訳（メタデータ） (2023-11-17T01:07:37Z)
Timely Fusion of Surround Radar/Lidar for Object Detection in Autonomous Driving Systems [13.998883144668941]
レーダーとライダーセンサーのデータは、その補完的な利点を十分に活用し、周囲をより正確に再現することができる。既存のレーダ/リダ融合法は、サラウンドレーダの低周波で動作する必要がある。本稿では,Radar/Lidar周辺を高速なLidarのみに制限された作業周波数でヒューズする手法を開発した。
論文参考訳（メタデータ） (2023-09-09T14:22:12Z)
Echoes Beyond Points: Unleashing the Power of Raw Radar Data in Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文参考訳（メタデータ） (2023-07-31T09:53:50Z)
RadarFormer: Lightweight and Accurate Real-Time Radar Object Detection Model [13.214257841152033]
レーダー中心のデータセットは、レーダー知覚のためのディープラーニング技術の開発にはあまり注目されていない。本稿では,視覚深層学習における最先端技術を活用したトランスフォーマーモデルRadarFormerを提案する。また、チャネルチャープ時マージモジュールを導入し、精度を損なうことなく、モデルのサイズと複雑さを10倍以上に削減する。
論文参考訳（メタデータ） (2023-04-17T17:07:35Z)
CRN: Camera Radar Net for Accurate, Robust, Efficient 3D Perception [20.824179713013734]
カメラレーダ融合フレームワークであるカメラレーダネット(CRN)を提案する。 CRNは、様々なタスクに対して意味的にリッチで空間的に正確な鳥眼視(BEV)特徴マップを生成する。リアルタイム設定のCRNは20FPSで動作し、nuScenes上のLiDAR検出器に匹敵する性能を実現している。
論文参考訳（メタデータ） (2023-04-03T00:47:37Z)
NVRadarNet: Real-Time Radar Obstacle and Free Space Detection for Autonomous Driving [57.03126447713602]
本稿では,自動車のRADARセンサを用いて動的障害物や乾燥可能な自由空間を検出するディープニューラルネットワーク(DNN)を提案する。ネットワークは組み込みGPU上でリアルタイムよりも高速に動作し、地理的領域にわたって優れた一般化を示す。
論文参考訳（メタデータ） (2022-09-29T01:30:34Z)
Complex-valued Convolutional Neural Networks for Enhanced Radar Signal Denoising and Interference Mitigation [73.0103413636673]
本稿では,レーダセンサ間の相互干渉問題に対処するために,複合価値畳み込みニューラルネットワーク(CVCNN)を提案する。 CVCNNはデータ効率を高め、ネットワークトレーニングを高速化し、干渉除去時の位相情報の保存を大幅に改善する。
論文参考訳（メタデータ） (2021-04-29T10:06:29Z)
LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文参考訳（メタデータ） (2020-10-02T00:13:00Z)
RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。 RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文参考訳（メタデータ） (2020-07-28T17:15:02Z)
CARRADA Dataset: Camera and Automotive Radar with Range-Angle-Doppler Annotations [0.0]
距離角-ドップラーアノテーションを用いた同期カメラとレーダ記録のデータセットであるCARRADAを紹介する。また、データセットのアノテートに使用された半自動アノテーション手法と、レーダーセマンティックセグメンテーションベースラインを提案する。
論文参考訳（メタデータ） (2020-05-04T13:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。