論文の概要: Gesture Recognition with Keypoint and Radar Stream Fusion for Automated
Vehicles
- arxiv url: http://arxiv.org/abs/2302.09998v1
- Date: Mon, 20 Feb 2023 14:18:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 15:15:34.140912
- Title: Gesture Recognition with Keypoint and Radar Stream Fusion for Automated
Vehicles
- Title(参考訳): 自動車両のキーポイントとレーダストリーム融合によるジェスチャー認識
- Authors: Adrian Holzbock, Nicolai Kern, Christian Waldschmidt, Klaus Dietmayer,
Vasileios Belagiannis
- Abstract要約: 我々は、自動運転車が日常の交通における人間のジェスチャーを理解し、反応できるようにするために、共同カメラとレーダーのアプローチを提案する。
両モードに対する融合ニューラルネットワークを提案し,各モードに対する補助的損失を含む。
また, 天候条件の悪さが原因で, センサの1つが機能に欠ける場合にも有望な性能を示す。
- 参考スコア(独自算出の注目度): 13.652770928249447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a joint camera and radar approach to enable autonomous vehicles to
understand and react to human gestures in everyday traffic. Initially, we
process the radar data with a PointNet followed by a spatio-temporal multilayer
perceptron (stMLP). Independently, the human body pose is extracted from the
camera frame and processed with a separate stMLP network. We propose a fusion
neural network for both modalities, including an auxiliary loss for each
modality. In our experiments with a collected dataset, we show the advantages
of gesture recognition with two modalities. Motivated by adverse weather
conditions, we also demonstrate promising performance when one of the sensors
lacks functionality.
- Abstract(参考訳): 我々は、自動運転車が日常の交通における人間のジェスチャーを理解し、反応できるようにするために、共同カメラとレーダーのアプローチを提案する。
当初,レーダデータをPointNetで処理し,次に時空間多層パーセプトロン(stMLP)で処理する。
独立して、カメラフレームから人体ポーズを抽出し、別個のstmlpネットワークで処理する。
両モードに対する融合ニューラルネットワークを提案し,各モードに対する補助的損失を含む。
収集したデータセットを用いた実験では,2つのモードによるジェスチャー認識の利点を示す。
悪天候に動機づけられ、センサーの1つに機能がない場合に有望な性能を示す。
関連論文リスト
- Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-05-22T07:09:35Z) - Bridging the View Disparity of Radar and Camera Features for Multi-modal
Fusion 3D Object Detection [6.959556180268547]
本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。
より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
論文 参考訳(メタデータ) (2022-08-25T13:21:37Z) - A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。
提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。
私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
論文 参考訳(メタデータ) (2022-04-25T08:42:47Z) - A Quality Index Metric and Method for Online Self-Assessment of
Autonomous Vehicles Sensory Perception [164.93739293097605]
本稿では,検出品質指標(DQI)と呼ばれる新しい評価指標を提案し,カメラを用いた物体検出アルゴリズムの性能を評価する。
我々は,提案したDQI評価指標を予測するために,原画像画素とスーパーピクセルを入力として利用するスーパーピクセルベースのアテンションネットワーク(SPA-NET)を開発した。
論文 参考訳(メタデータ) (2022-03-04T22:16:50Z) - GenRadar: Self-supervised Probabilistic Camera Synthesis based on Radar
Frequencies [12.707035083920227]
この研究は、確率的シーン再構築のための独自の自己学習融合アプローチにおいて、両方のセンサタイプの相補的な強度を組み合わせる。
提案アルゴリズムは類似性を生かし、訓練中に異なる特徴レベルで両方のドメイン間の対応を確立する。
これらの離散トークンは、最終的にそれぞれの周囲のインストラクティブなビューに変換され、潜在的な危険を視覚的に知覚することができる。
論文 参考訳(メタデータ) (2021-07-19T15:00:28Z) - CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object
Tracking [9.62721286522053]
本稿では,レーダとカメラセンサの融合に基づく共同物体検出と追跡のためのエンドツーエンドネットワークを提案する。
提案手法では,物体検出に中心型レーダカメラ融合アルゴリズムを用い,物体関連にグリーディアルゴリズムを用いる。
提案手法は,20.0AMOTAを達成し,ベンチマークにおける視覚ベースの3Dトラッキング手法よりも優れる,挑戦的なnuScenesデータセット上で評価する。
論文 参考訳(メタデータ) (2021-07-11T23:56:53Z) - Perception-aware Multi-sensor Fusion for 3D LiDAR Semantic Segmentation [59.42262859654698]
3Dセマンティックセグメンテーションは、自動運転やロボット工学など、多くのアプリケーションにおいてシーン理解において重要である。
既存の融合法は、2つのモードの差が大きいため、有望な性能を達成できない。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
論文 参考訳(メタデータ) (2021-06-21T10:47:26Z) - YOdar: Uncertainty-based Sensor Fusion for Vehicle Detection with Camera
and Radar Sensors [4.396860522241306]
本稿では,カメラとレーダデータとのセンサ融合のための不確実性に基づく手法を提案する。
実験では、YOLOv3オブジェクト検出ネットワークと、カスタマイズされた1D$レーダセグメンテーションネットワークを組み合わせる。
実験の結果,この不確実性認識融合のアプローチは単一センサのベースラインに比べて性能が著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-10-07T10:40:02Z) - Towards Autonomous Driving: a Multi-Modal 360$^{\circ}$ Perception
Proposal [87.11988786121447]
本稿では,自動運転車の3次元物体検出と追跡のためのフレームワークを提案する。
このソリューションは、新しいセンサ融合構成に基づいて、正確で信頼性の高い道路環境検出を提供する。
自動運転車に搭載されたシステムの様々なテストは、提案された知覚スタックの適合性を評価することに成功している。
論文 参考訳(メタデータ) (2020-08-21T20:36:21Z) - End-to-end Learning for Inter-Vehicle Distance and Relative Velocity
Estimation in ADAS with a Monocular Camera [81.66569124029313]
本稿では,ディープニューラルネットワークのエンドツーエンドトレーニングに基づくカメラによる車間距離と相対速度推定手法を提案する。
提案手法の重要な特徴は,2つの時間的単眼フレームによって提供される複数の視覚的手がかりの統合である。
また,移動場における視線歪みの影響を緩和する車両中心サンプリング機構を提案する。
論文 参考訳(メタデータ) (2020-06-07T08:18:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。