論文の概要: RadSegNet: A Reliable Approach to Radar Camera Fusion
- arxiv url: http://arxiv.org/abs/2208.03849v1
- Date: Mon, 8 Aug 2022 00:09:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:29:14.240822
- Title: RadSegNet: A Reliable Approach to Radar Camera Fusion
- Title(参考訳): RadSegNet: レーダーカメラフュージョンへの信頼性の高いアプローチ
- Authors: Kshitiz Bansal, Keshav Rungta and Dinesh Bharadia
- Abstract要約: カメラとレーダーの融合システムは、あらゆる天候の信頼性の高い高品質な知覚にユニークな機会を提供する。
本稿では,独立した情報抽出の新たな設計思想を用いたRadSegNetを提案する。
最先端の手法と比較して、RadSegNetはAstyxを27%改善し、RADIATEを41.46%改善した。
- 参考スコア(独自算出の注目度): 7.407841890626661
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Perception systems for autonomous driving have seen significant advancements
in their performance over last few years. However, these systems struggle to
show robustness in extreme weather conditions because sensors like lidars and
cameras, which are the primary sensors in a sensor suite, see a decline in
performance under these conditions. In order to solve this problem,
camera-radar fusion systems provide a unique opportunity for all weather
reliable high quality perception. Cameras provides rich semantic information
while radars can work through occlusions and in all weather conditions. In this
work, we show that the state-of-the-art fusion methods perform poorly when
camera input is degraded, which essentially results in losing the all-weather
reliability they set out to achieve. Contrary to these approaches, we propose a
new method, RadSegNet, that uses a new design philosophy of independent
information extraction and truly achieves reliability in all conditions,
including occlusions and adverse weather. We develop and validate our proposed
system on the benchmark Astyx dataset and further verify these results on the
RADIATE dataset. When compared to state-of-the-art methods, RadSegNet achieves
a 27% improvement on Astyx and 41.46% increase on RADIATE, in average precision
score and maintains a significantly better performance in adverse weather
conditions
- Abstract(参考訳): 自動運転車の認識システムは、ここ数年で大きな進歩を遂げてきた。
しかし、センサースイートの主要なセンサーであるライダーやカメラのようなセンサーは、これらの条件下での性能が低下しているため、極端な気象条件下では堅牢性を示すのに苦労している。
この問題を解決するために、カメラとレーダーの融合システムは、あらゆる天候に信頼できる高品質な知覚にユニークな機会を提供する。
カメラは豊富なセマンティック情報を提供し、レーダーは閉塞やあらゆる気象条件で機能する。
本研究は,カメラ入力が劣化した場合の最先端核融合法の性能が低下し,全天候の信頼性が低下することを示すものである。
これらのアプローチとは対照的に,独立した情報抽出の新しい設計哲学を用いて,閉塞や悪天候を含むあらゆる条件において信頼性を真に達成する新しい手法であるradsegnetを提案する。
我々は,ベンチマークastyxデータセット上で提案システムを開発し検証し,radiationデータセット上でさらに検証する。
RadSegNetは最先端の手法と比較して、平均精度スコアにおいてアステックスの27%、RADIATEの41.46%の改善を達成し、悪天候条件下では著しく優れた性能を維持している。
関連論文リスト
- ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions [1.7537812081430004]
本研究では,3次元物体検出モデルにカメラやライダーの知識を取り入れたContextualFusionという手法を提案する。
我々の手法は、文脈バランスの取れた合成データセットの最先端手法に対して6.2%のmAP改善をもたらす。
本手法は,実世界のNuScenesデータセット上での夜間の3D対物性能を11.7%向上させる。
論文 参考訳(メタデータ) (2024-04-23T06:37:54Z) - DPFT: Dual Perspective Fusion Transformer for Camera-Radar-based Object Detection [0.7919810878571297]
デュアル・パースペクティブ・フュージョン・トランス (DPFT) と呼ばれる新しいカメラレーダ融合手法を提案する。
本手法では,処理された点雲の代わりに,低レベルのレーダデータ(レーダキューブ)を活用して,できるだけ多くの情報を保存する。
DPFTは、K-Radarデータセットの最先端性能を実証し、悪天候に対する顕著な堅牢性を示した。
論文 参考訳(メタデータ) (2024-04-03T18:54:27Z) - ThermRad: A Multi-modal Dataset for Robust 3D Object Detection under
Challenging Conditions [15.925365473140479]
ThermRadと呼ばれる新しいマルチモーダルデータセットは、3D LiDAR、4Dレーダー、RGBカメラ、サーマルカメラを含む。
本研究では4次元レーダーとサーマルカメラの相補的な強度を利用して物体検出性能を向上させるRTDF-RCNNと呼ばれる新しいマルチモーダル融合法を提案する。
本手法は,自動車,歩行者,自転車の検出において,それぞれ7.98%,24.27%,27.15%以上の改善を実現している。
論文 参考訳(メタデータ) (2023-08-20T04:34:30Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z) - Radar Enlighten the Dark: Enhancing Low-Visibility Perception for
Automated Vehicles with Camera-Radar Fusion [8.946655323517094]
低視認性条件に対処するために,トランスフォーマーを用いた新しい3次元オブジェクト検出モデル"REDFormer"を提案する。
我々のモデルは、分類と検出精度で最先端(SOTA)モデルより優れている。
論文 参考訳(メタデータ) (2023-05-27T00:47:39Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳(メタデータ) (2022-05-30T09:35:37Z) - Vision in adverse weather: Augmentation using CycleGANs with various
object detectors for robust perception in autonomous racing [70.16043883381677]
自律レースでは、天気は突然変化し、認識が著しく低下し、非効率な操作が引き起こされる。
悪天候の検知を改善するために、ディープラーニングベースのモデルは通常、そのような状況下でキャプチャされた広範なデータセットを必要とする。
本稿では,5つの最先端検出器のうち4つの性能向上を図るために,自動レース(CycleGANを用いた)における合成悪条件データセットを用いた手法を提案する。
論文 参考訳(メタデータ) (2022-01-10T10:02:40Z) - TransWeather: Transformer-based Restoration of Images Degraded by
Adverse Weather Conditions [77.20136060506906]
トランスウェザー (TransWeather) は1つのエンコーダとデコーダしか持たない変圧器を用いたエンド・ツー・エンドモデルである。
TransWeatherは、All-in-Oneネットワーク上で、複数のテストデータセット間で大幅に改善されている。
実世界のテスト画像で検証され、従来の方法よりも効果的であることが判明した。
論文 参考訳(メタデータ) (2021-11-29T18:57:09Z) - Lidar Light Scattering Augmentation (LISA): Physics-based Simulation of
Adverse Weather Conditions for 3D Object Detection [60.89616629421904]
ライダーベースの物体検出器は、自動運転車のような自律ナビゲーションシステムにおいて、3D知覚パイプラインの重要な部分である。
降雨、雪、霧などの悪天候に敏感で、信号-雑音比(SNR)と信号-背景比(SBR)が低下している。
論文 参考訳(メタデータ) (2021-07-14T21:10:47Z) - Complex-valued Convolutional Neural Networks for Enhanced Radar Signal
Denoising and Interference Mitigation [73.0103413636673]
本稿では,レーダセンサ間の相互干渉問題に対処するために,複合価値畳み込みニューラルネットワーク(CVCNN)を提案する。
CVCNNはデータ効率を高め、ネットワークトレーニングを高速化し、干渉除去時の位相情報の保存を大幅に改善する。
論文 参考訳(メタデータ) (2021-04-29T10:06:29Z) - All-Weather Object Recognition Using Radar and Infrared Sensing [1.7513645771137178]
この論文は、物体を認識するために、長波偏光赤外線(IR)画像とイメージングレーダに基づく新しいセンシング開発を探求する。
まず、偏光赤外データを用いたストークスパラメータに基づく手法を開発し、深層ニューラルネットワークを用いた車両の認識を行った。
第2に、低THzレーダセンサで捉えたパワースペクトルのみを用いて、制御されたシナリオで物体認識を行う可能性について検討した。
最後に、悪天候下で車両を検出するレーダーロバスト性を示す多くの異なる気象シナリオを備えた、"ワイルド"に新しい大規模なデータセットを作成しました。
論文 参考訳(メタデータ) (2020-10-30T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。