論文の概要: Gesture Recognition with Keypoint and Radar Stream Fusion for Automated Vehicles

• arxiv url: http://arxiv.org/abs/2302.09998v1
• Date: Mon, 20 Feb 2023 14:18:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 15:15:34.140912
• Title: Gesture Recognition with Keypoint and Radar Stream Fusion for Automated Vehicles
• Title（参考訳）: 自動車両のキーポイントとレーダストリーム融合によるジェスチャー認識
• Authors: Adrian Holzbock, Nicolai Kern, Christian Waldschmidt, Klaus Dietmayer, Vasileios Belagiannis
• Abstract要約: 我々は、自動運転車が日常の交通における人間のジェスチャーを理解し、反応できるようにするために、共同カメラとレーダーのアプローチを提案する。 両モードに対する融合ニューラルネットワークを提案し,各モードに対する補助的損失を含む。 また, 天候条件の悪さが原因で, センサの1つが機能に欠ける場合にも有望な性能を示す。
• 参考スコア（独自算出の注目度）: 13.652770928249447
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a joint camera and radar approach to enable autonomous vehicles to understand and react to human gestures in everyday traffic. Initially, we process the radar data with a PointNet followed by a spatio-temporal multilayer perceptron (stMLP). Independently, the human body pose is extracted from the camera frame and processed with a separate stMLP network. We propose a fusion neural network for both modalities, including an auxiliary loss for each modality. In our experiments with a collected dataset, we show the advantages of gesture recognition with two modalities. Motivated by adverse weather conditions, we also demonstrate promising performance when one of the sensors lacks functionality.
• Abstract（参考訳）: 我々は、自動運転車が日常の交通における人間のジェスチャーを理解し、反応できるようにするために、共同カメラとレーダーのアプローチを提案する。 当初,レーダデータをPointNetで処理し,次に時空間多層パーセプトロン(stMLP)で処理する。 独立して、カメラフレームから人体ポーズを抽出し、別個のstmlpネットワークで処理する。 両モードに対する融合ニューラルネットワークを提案し,各モードに対する補助的損失を含む。 収集したデータセットを用いた実験では,2つのモードによるジェスチャー認識の利点を示す。 悪天候に動機づけられ、センサーの1つに機能がない場合に有望な性能を示す。

関連論文リスト

• Cross-Domain Spatial Matching for Camera and Radar Sensor Data Fusion in Autonomous Vehicle Perception System [0.0]
  本稿では,自律走行車認識システムにおける3次元物体検出のためのカメラとレーダーセンサの融合問題に対する新しいアプローチを提案する。 我々のアプローチは、ディープラーニングの最近の進歩に基づいており、両方のセンサーの強度を活用して物体検出性能を向上させる。 提案手法は単一センサ・ソリューションよりも優れた性能を実現し,他のトップレベルの融合手法と直接競合できることを示す。
  論文  参考訳（メタデータ） (2024-04-25T12:04:31Z)
• ASY-VRNet: Waterway Panoptic Driving Perception Model based on Asymmetric Fair Fusion of Vision and 4D mmWave Radar [7.2865477881451755]
  非対称フェアフュージョン(AFF)モジュールは、視覚とレーダーの両方から独立した特徴と効率的に相互作用するように設計されている。 ASY-VRNetモデルは不規則な超画素点集合に基づいて画像とレーダの特徴を処理する。 他の軽量モデルと比較して、ASY-VRNetはオブジェクト検出、セマンティックセグメンテーション、乾燥可能な領域セグメンテーションにおける最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-08-20T14:53:27Z)
• Semantic Segmentation of Radar Detections using Convolutions on Point Clouds [59.45414406974091]
  本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。 このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。 我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-05-22T07:09:35Z)
• A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
  自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。 提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。 私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
  論文  参考訳（メタデータ） (2022-04-25T08:42:47Z)
• A Quality Index Metric and Method for Online Self-Assessment of Autonomous Vehicles Sensory Perception [164.93739293097605]
  本稿では,検出品質指標(DQI)と呼ばれる新しい評価指標を提案し,カメラを用いた物体検出アルゴリズムの性能を評価する。 我々は,提案したDQI評価指標を予測するために,原画像画素とスーパーピクセルを入力として利用するスーパーピクセルベースのアテンションネットワーク(SPA-NET)を開発した。
  論文  参考訳（メタデータ） (2022-03-04T22:16:50Z)
• CFTrack: Center-based Radar and Camera Fusion for 3D Multi-Object Tracking [9.62721286522053]
  本稿では,レーダとカメラセンサの融合に基づく共同物体検出と追跡のためのエンドツーエンドネットワークを提案する。 提案手法では,物体検出に中心型レーダカメラ融合アルゴリズムを用い,物体関連にグリーディアルゴリズムを用いる。 提案手法は,20.0AMOTAを達成し,ベンチマークにおける視覚ベースの3Dトラッキング手法よりも優れる,挑戦的なnuScenesデータセット上で評価する。
  論文  参考訳（メタデータ） (2021-07-11T23:56:53Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• YOdar: Uncertainty-based Sensor Fusion for Vehicle Detection with Camera and Radar Sensors [4.396860522241306]
  本稿では,カメラとレーダデータとのセンサ融合のための不確実性に基づく手法を提案する。 実験では、YOLOv3オブジェクト検出ネットワークと、カスタマイズされた1D$レーダセグメンテーションネットワークを組み合わせる。 実験の結果,この不確実性認識融合のアプローチは単一センサのベースラインに比べて性能が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-10-07T10:40:02Z)
• Towards Autonomous Driving: a Multi-Modal 360$^{\circ}$ Perception Proposal [87.11988786121447]
  本稿では,自動運転車の3次元物体検出と追跡のためのフレームワークを提案する。 このソリューションは、新しいセンサ融合構成に基づいて、正確で信頼性の高い道路環境検出を提供する。 自動運転車に搭載されたシステムの様々なテストは、提案された知覚スタックの適合性を評価することに成功している。
  論文  参考訳（メタデータ） (2020-08-21T20:36:21Z)
• End-to-end Learning for Inter-Vehicle Distance and Relative Velocity Estimation in ADAS with a Monocular Camera [81.66569124029313]
  本稿では,ディープニューラルネットワークのエンドツーエンドトレーニングに基づくカメラによる車間距離と相対速度推定手法を提案する。 提案手法の重要な特徴は,2つの時間的単眼フレームによって提供される複数の視覚的手がかりの統合である。 また,移動場における視線歪みの影響を緩和する車両中心サンプリング機構を提案する。
  論文  参考訳（メタデータ） (2020-06-07T08:18:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。