論文の概要: Deep Learning-Based Robust Multi-Object Tracking via Fusion of mmWave Radar and Camera Sensors
- arxiv url: http://arxiv.org/abs/2407.08049v1
- Date: Wed, 10 Jul 2024 21:09:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 21:29:18.672556
- Title: Deep Learning-Based Robust Multi-Object Tracking via Fusion of mmWave Radar and Camera Sensors
- Title（参考訳）: mmWaveレーダとカメラセンサの融合による深層学習に基づくロバスト多対象追跡
- Authors: Lei Cheng, Arindam Sengupta, Siyang Cao,
- Abstract要約: 複雑なトラフィックシナリオを通じて、より安全で効率的なナビゲーションを実現する上で、マルチオブジェクトトラッキングは重要な役割を果たす。
本稿では,自律走行システムにおける複数物体追跡の精度とロバスト性を高めるために,レーダデータとカメラデータを統合した新しいディープラーニング方式を提案する。
- 参考スコア（独自算出の注目度）: 6.166992288822812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving holds great promise in addressing traffic safety concerns by leveraging artificial intelligence and sensor technology. Multi-Object Tracking plays a critical role in ensuring safer and more efficient navigation through complex traffic scenarios. This paper presents a novel deep learning-based method that integrates radar and camera data to enhance the accuracy and robustness of Multi-Object Tracking in autonomous driving systems. The proposed method leverages a Bi-directional Long Short-Term Memory network to incorporate long-term temporal information and improve motion prediction. An appearance feature model inspired by FaceNet is used to establish associations between objects across different frames, ensuring consistent tracking. A tri-output mechanism is employed, consisting of individual outputs for radar and camera sensors and a fusion output, to provide robustness against sensor failures and produce accurate tracking results. Through extensive evaluations of real-world datasets, our approach demonstrates remarkable improvements in tracking accuracy, ensuring reliable performance even in low-visibility scenarios.
- Abstract（参考訳）: 自律運転は、人工知能とセンサー技術を活用することで、交通安全上の問題に対処する上で大きな可能性を秘めている。
複雑なトラフィックシナリオを通じて、より安全で効率的なナビゲーションを実現する上で、マルチオブジェクトトラッキングは重要な役割を果たす。
本稿では,自律走行システムにおける複数物体追跡の精度とロバスト性を高めるために,レーダデータとカメラデータを統合した新しいディープラーニング方式を提案する。
提案手法は、双方向長短期記憶ネットワークを利用して、長期時間情報を組み込んで動作予測を改善する。
FaceNetにインスパイアされた外観特徴モデルは、異なるフレームにわたるオブジェクト間の関連を確立し、一貫したトラッキングを保証するために使用される。
レーダとカメラセンサの個別出力と融合出力からなる三出力機構を用い、センサ故障に対する堅牢性を提供し、正確な追跡結果を生成する。
実世界のデータセットを広範囲に評価することにより、低可視性シナリオにおいても、追跡精度が著しく向上し、信頼性の高い性能が保証されることを示す。
関連論文リスト
- Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving [3.770103075126785]
本稿では,グラフに基づく状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。
本稿では,マルチモーダルグラフを融合する最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filterを提案する。
提案手法の有効性を,合成および実世界の運転データセットを用いた広範囲な実験により検証した。
論文 参考訳（メタデータ） (2024-11-06T06:58:17Z) - Multi-Object Tracking based on Imaging Radar 3D Object Detection [0.13499500088995461]
本稿では,古典的追跡アルゴリズムを用いて,周囲の交通参加者を追跡する手法を提案する。
学習に基づく物体検出器はライダーとカメラのデータに適切に対応し、学習に基づく物体検出器は標準のレーダーデータ入力により劣っていることが示されている。
レーダセンサ技術の改良により、レーダの物体検出性能は大幅に改善されたが、レーダ点雲の広さによりライダーセンサに制限されている。
追跡アルゴリズムは、一貫したトラックを生成しながら、限られた検出品質を克服しなければならない。
論文 参考訳（メタデータ） (2024-06-03T05:46:23Z) - PNAS-MOT: Multi-Modal Object Tracking with Pareto Neural Architecture Search [64.28335667655129]
複数の物体追跡は、自律運転において重要な課題である。
トラッキングの精度が向上するにつれて、ニューラルネットワークはますます複雑になり、レイテンシが高いため、実際の運転シナリオにおける実践的な応用に課題が生じる。
本稿では,ニューラル・アーキテクチャ・サーチ(NAS)手法を用いて追跡のための効率的なアーキテクチャを探索し,比較的高い精度を維持しつつ,低リアルタイム遅延を実現することを目的とした。
論文 参考訳（メタデータ） (2024-03-23T04:18:49Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳（メタデータ） (2023-09-21T15:00:31Z) - Modeling Continuous Motion for 3D Point Cloud Object Tracking [54.48716096286417]
本稿では,各トラックレットを連続ストリームとみなす新しいアプローチを提案する。
各タイムスタンプでは、現在のフレームだけがネットワークに送られ、メモリバンクに格納された複数フレームの履歴機能と相互作用する。
頑健な追跡のためのマルチフレーム機能の利用性を高めるために,コントラッシブシーケンス強化戦略を提案する。
論文 参考訳（メタデータ） (2023-03-14T02:58:27Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - DeepFusionMOT: A 3D Multi-Object Tracking Framework Based on
Camera-LiDAR Fusion with Deep Association [8.34219107351442]
本稿では,精度と速度の良好なトレードオフを実現するために,カメラ-LiDAR融合型MOT法を提案する。
提案手法は、追跡精度と処理速度の両方の観点から、最先端MOT法に対して明らかな利点を示す。
論文 参考訳（メタデータ） (2022-02-24T13:36:29Z) - CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object
Tracking [9.62721286522053]
本稿では,レーダとカメラセンサの融合に基づく共同物体検出と追跡のためのエンドツーエンドネットワークを提案する。
提案手法では,物体検出に中心型レーダカメラ融合アルゴリズムを用い,物体関連にグリーディアルゴリズムを用いる。
提案手法は,20.0AMOTAを達成し,ベンチマークにおける視覚ベースの3Dトラッキング手法よりも優れる,挑戦的なnuScenesデータセット上で評価する。
論文 参考訳（メタデータ） (2021-07-11T23:56:53Z) - Efficient and Robust LiDAR-Based End-to-End Navigation [132.52661670308606]
我々は,LiDARをベースとした効率的なエンドツーエンドナビゲーションフレームワークを提案する。
本稿では,スパース畳み込みカーネル最適化とハードウェア対応モデル設計に基づくFast-LiDARNetを提案する。
次に,単一の前方通過のみから予測の不確かさを直接推定するハイブリッド・エビデンシャル・フュージョンを提案する。
論文 参考訳（メタデータ） (2021-05-20T17:52:37Z) - IntentNet: Learning to Predict Intention from Raw Sensor Data [86.74403297781039]
本論文では,LiDARセンサが生成する3次元点群と,環境の動的なマップの両方を利用するワンステージ検出器と予測器を開発した。
当社のマルチタスクモデルは、それぞれの別々のモジュールよりも高い精度を実現し、計算を節約します。
論文 参考訳（メタデータ） (2021-01-20T00:31:52Z) - Confidence Trigger Detection: Accelerating Real-time Tracking-by-detection Systems [1.6037469030022993]
信頼強化検出(CTD)は、中間状態によく似たフレームのオブジェクト検出を戦略的に回避する革新的な手法である。
CTDは追跡速度を向上するだけでなく、既存の追跡アルゴリズムを超越して精度も維持する。
本実験はCTDフレームワークの堅牢性と汎用性を実証し,資源制約環境におけるリアルタイムトラッキングの実現の可能性を示した。
論文 参考訳（メタデータ） (2019-02-02T01:52:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。