論文の概要: HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar
- arxiv url: http://arxiv.org/abs/2210.12564v1
- Date: Sat, 22 Oct 2022 22:28:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 13:54:40.654457
- Title: HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar
- Title（参考訳）: HuPR:ミリ波レーダを用いた人間の姿勢推定ベンチマーク
- Authors: Shih-Po Lee, Niraj Prakash Kini, Wen-Hsiao Peng, Ching-Wen Ma,
Jenq-Neng Hwang
- Abstract要約: 本稿では,ミリ波レーダを用いた人間のポーズ推定ベンチマーク「Human Pose with Millimeter Wave Radar (HuPR)」を紹介する。
このデータセットは、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングのために、クロスキャリブレーションされたmmWaveレーダセンサとモノクラーRGBカメラを用いて作成される。
- 参考スコア（独自算出の注目度）: 30.51398364813315
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper introduces a novel human pose estimation benchmark, Human Pose
with Millimeter Wave Radar (HuPR), that includes synchronized vision and radio
signal components. This dataset is created using cross-calibrated mmWave radar
sensors and a monocular RGB camera for cross-modality training of radar-based
human pose estimation. There are two advantages of using mmWave radar to
perform human pose estimation. First, it is robust to dark and low-light
conditions. Second, it is not visually perceivable by humans and thus, can be
widely applied to applications with privacy concerns, e.g., surveillance
systems in patient rooms. In addition to the benchmark, we propose a
cross-modality training framework that leverages the ground-truth 2D keypoints
representing human body joints for training, which are systematically generated
from the pre-trained 2D pose estimation network based on a monocular camera
input image, avoiding laborious manual label annotation efforts. The framework
consists of a new radar pre-processing method that better extracts the velocity
information from radar data, Cross- and Self-Attention Module (CSAM), to fuse
multi-scale radar features, and Pose Refinement Graph Convolutional Networks
(PRGCN), to refine the predicted keypoint confidence heatmaps. Our intensive
experiments on the HuPR benchmark show that the proposed scheme achieves better
human pose estimation performance with only radar data, as compared to
traditional pre-processing solutions and previous radio-frequency-based
methods.
- Abstract（参考訳）: 本稿では, ミリ波レーダ(hupr)を用いた新しい人物姿勢推定ベンチマーク, human pose with mm wave radar (hupr) を提案する。
このデータセットは、交叉型mmwaveレーダセンサと単眼型rgbカメラを使用して、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングを行う。
人間のポーズ推定に mmWave レーダーを使用する利点は2つある。
第一に、暗い条件と暗い条件に頑健である。
第二に、人間が視覚的に知覚できないため、患者の部屋の監視システムなどプライバシーに関する問題のあるアプリケーションに広く適用することができる。
このベンチマークに加えて,単眼カメラ入力画像に基づいて予め訓練された2次元ポーズ推定ネットワークから体系的に生成した訓練用人体関節を表す接地2次元キーポイントを利用するクロスモダリティ訓練フレームワークを提案する。
このフレームワークは、レーダーデータから速度情報をよりよく抽出する新しいレーダー前処理方法と、クロス・アンド・セルフ・アテンション・モジュール(csam)と、マルチスケールのレーダー特徴を融合させ、予測されたキーポイント信頼度ヒートマップを洗練するためにrefinement graph convolutional networks(prgcn)をポーズする。
提案手法は,従来の前処理ソリューションや従来のラジオ周波数に基づく手法と比較して,レーダデータのみを用いて人のポーズ推定性能を向上することを示す。
関連論文リスト
- CaFNet: A Confidence-Driven Framework for Radar Camera Depth Estimation [6.9404362058736995]
本稿では,深度推定のための2段階・エンドツーエンドの信頼度対応フュージョンネット(CaFNet)を提案する。
第1段階は、あいまいな標高やノイズ測定など、レーダー固有の課題に対処する。
最終深度推定のために、レーダと画像の特徴を効果的に統合するための信頼性を考慮したゲート融合機構を革新する。
論文 参考訳（メタデータ） (2024-06-30T13:39:29Z) - ProbRadarM3F: mmWave Radar based Human Skeletal Pose Estimation with Probability Map Guided Multi-Format Feature Fusion [14.83158440666821]
本稿では,確率マップによるマルチフォーマット特徴融合モデルProbRadarM3Fを提案する。
ProbRadarM3Fは従来のヒートマップの特徴と位置特徴を融合させ、効果的に14個の人体のキーポイントを推定する。
論文 参考訳（メタデータ） (2024-05-08T15:54:57Z) - Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-05-07T20:44:48Z) - Diffusion Model is a Good Pose Estimator from 3D RF-Vision [32.72703340013302]
無線周波数ビジョン(RF-vision)からのヒューマンポーズ推定(HPE)は、RF信号を用いて人間のセンシングを行う。
mmWaveレーダーは有望なRFビジョンセンサーとして登場し、RF信号を処理してレーダー点雲を提供する。
本研究は,ノイズレーダデータに適した新しい拡散型ポーズ推定器mmDiffを提案する。
論文 参考訳（メタデータ） (2024-03-24T15:39:52Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-05-22T07:09:35Z) - DensePose From WiFi [86.61881052177228]
WiFi信号の位相と振幅を24のヒト領域内の紫外線座標にマッピングするディープニューラルネットワークを開発した。
本モデルでは,複数の被験者の密集したポーズを,画像に基づくアプローチと同等の性能で推定することができる。
論文 参考訳（メタデータ） (2022-12-31T16:48:43Z) - Cross Vision-RF Gait Re-identification with Low-cost RGB-D Cameras and
mmWave Radars [15.662787088335618]
本研究は, クロスモーダルヒト再識別(ReID)の問題に関する研究である。
マルチモーダル多人数共振器ReIDのための第1種視覚RFシステムを提案する。
提案システムは56名のボランティアのうち92.5%がトップ1の精度、97.5%がトップ5の精度を達成できる。
論文 参考訳（メタデータ） (2022-07-16T10:34:25Z) - RadarLoc: Learning to Relocalize in FMCW Radar [36.68888832365474]
6-DoFのグローバルポーズを直接推定できる,自己アテンションを備えた新しいエンドツーエンドニューラルネットワークであるRadarLocを提案する。
我々は最近リリースされた屋外データセットOxford Radar RobotCarに対するアプローチを検証する。
論文 参考訳（メタデータ） (2021-03-22T03:22:37Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳（メタデータ） (2020-09-30T19:01:33Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。