論文の概要: ProbRadarM3F: mmWave Radar based Human Skeletal Pose Estimation with Probability Map Guided Multi-Format Feature Fusion
- arxiv url: http://arxiv.org/abs/2405.05164v2
- Date: Fri, 28 Jun 2024 06:11:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 21:15:15.131273
- Title: ProbRadarM3F: mmWave Radar based Human Skeletal Pose Estimation with Probability Map Guided Multi-Format Feature Fusion
- Title(参考訳): ProbRadarM3F:mmWaveレーダを用いた確率マップによる人体骨格電位推定
- Authors: Bing Zhu, Zixin He, Weiyi Xiong, Guanhua Ding, Jianan Liu, Tao Huang, Wei Chen, Wei Xiang,
- Abstract要約: 本稿では,確率マップによるマルチフォーマット特徴融合モデルProbRadarM3Fを提案する。
ProbRadarM3Fは従来のヒートマップの特徴と位置特徴を融合させ、効果的に14個の人体のキーポイントを推定する。
- 参考スコア(独自算出の注目度): 14.83158440666821
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Millimeter wave (mmWave) radar is a non-intrusive privacy and relatively convenient and inexpensive device, which has been demonstrated to be applicable in place of RGB cameras in human indoor pose estimation tasks. However, mmWave radar relies on the collection of reflected signals from the target, and the radar signals containing information is difficult to be fully applied. This has been a long-standing hindrance to the improvement of pose estimation accuracy. To address this major challenge, this paper introduces a probability map guided multi-format feature fusion model, ProbRadarM3F. This is a novel radar feature extraction framework using a traditional FFT method in parallel with a probability map based positional encoding method. ProbRadarM3F fuses the traditional heatmap features and the positional features, then effectively achieves the estimation of 14 keypoints of the human body. Experimental evaluation on the HuPR dataset proves the effectiveness of the model proposed in this paper, outperforming other methods experimented on this dataset with an AP of 69.9 %. The emphasis of our study is focusing on the position information that is not exploited before in radar singal. This provides direction to investigate other potential non-redundant information from mmWave rader.
- Abstract(参考訳): ミリ波レーダ (mmWave) は非侵襲的プライバシであり、比較的便利で安価な装置であり、人間の屋内ポーズ推定タスクにおいてRGBカメラの代わりに適用可能であることが示されている。
しかし、mmWaveレーダはターゲットからの反射信号の収集に依存しており、情報を含むレーダ信号を完全に適用することは困難である。
これは、ポーズ推定精度の向上に長年の障害となっている。
本稿では,この課題に対処するため,確率マップを用いたマルチフォーマット特徴融合モデルProbRadarM3Fを提案する。
これは、従来のFFT法と確率マップに基づく位置符号化法を並行して用いた新しいレーダ特徴抽出フレームワークである。
ProbRadarM3Fは従来のヒートマップの特徴と位置特徴を融合させ、効果的に14個の人体のキーポイントを推定する。
本稿では,HuPRデータセットを用いた実験により提案したモデルの有効性を実証し,69.9%のAPで実験した他の手法よりも優れた結果を得た。
本研究は,従来のレーダ音声では利用されていない位置情報に着目したものである。
このことは、mmWaveレイダから他の潜在的非冗長情報を調査する方向を与える。
関連論文リスト
- CaFNet: A Confidence-Driven Framework for Radar Camera Depth Estimation [6.9404362058736995]
本稿では,深度推定のための2段階・エンドツーエンドの信頼度対応フュージョンネット(CaFNet)を提案する。
第1段階は、あいまいな標高やノイズ測定など、レーダー固有の課題に対処する。
最終深度推定のために、レーダと画像の特徴を効果的に統合するための信頼性を考慮したゲート融合機構を革新する。
論文 参考訳(メタデータ) (2024-06-30T13:39:29Z) - Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳(メタデータ) (2024-05-07T20:44:48Z) - Depth Estimation fusing Image and Radar Measurements with Uncertain Directions [14.206589791912458]
従来のレーダ画像融合作業では、画像特徴は畳み込み層を通してレーダーによって測定された不確実なスパース深さとマージされる。
本手法は,画像のみを用いて特徴を計算し,レーダ深度を画素単位で調整することでこの問題を回避する。
提案手法は, レーダの正確な方向のみを学習することにより, トレーニングデータを改善するとともに, 従来手法では生レーダ測定を訓練していた。
論文 参考訳(メタデータ) (2024-03-23T10:16:36Z) - Multistatic-Radar RCS-Signature Recognition of Aerial Vehicles: A Bayesian Fusion Approach [10.908489565519211]
無人航空機(UAV)用のレーダー自動目標認識(RATR)は、電磁波(EMW)を送信し、受信したレーダーエコーに対して目標型認識を行う。
これまでの研究では、RATRにおけるモノスタティックレーダよりも、マルチスタティックレーダの構成の利点を強調していた。
本稿では,複数のレーダからの分類確率ベクトルを集約するために,OBF(Optimal Bayesian Fusion)を用いた完全ベイズRATRフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-28T02:11:47Z) - Radio Map Estimation -- An Open Dataset with Directive Transmitter
Antennas and Initial Experiments [49.61405888107356]
実世界の現実的な都市地図とオープンなデータソースからの航空画像とともに、シミュレーションされた経路損失無線マップのデータセットをリリースする。
モデルアーキテクチャ,入力特徴設計,航空画像からの無線マップの推定に関する実験を行った。
論文 参考訳(メタデータ) (2024-01-12T14:56:45Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳(メタデータ) (2023-07-31T09:53:50Z) - HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar [30.51398364813315]
本稿では,ミリ波レーダを用いた人間のポーズ推定ベンチマーク「Human Pose with Millimeter Wave Radar (HuPR)」を紹介する。
このデータセットは、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングのために、クロスキャリブレーションされたmmWaveレーダセンサとモノクラーRGBカメラを用いて作成される。
論文 参考訳(メタデータ) (2022-10-22T22:28:40Z) - LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar
Fusion [52.59664614744447]
本稿では,レーダセンサ情報と広範に使用されているライダーと高精細度(HD)マップを用いた新しい終端軌道予測手法LiRaNetを提案する。
自動車レーダーは、リッチで補完的な情報を提供し、より長い距離の車両検出と即時速度測定を可能にします。
論文 参考訳(メタデータ) (2020-10-02T00:13:00Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳(メタデータ) (2020-09-30T19:01:33Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳(メタデータ) (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。