論文の概要: MAEPose: Self-Supervised Spatiotemporal Learning for Human Pose Estimation on mmWave Video
- arxiv url: http://arxiv.org/abs/2605.00242v1
- Date: Thu, 30 Apr 2026 21:23:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.760881
- Title: MAEPose: Self-Supervised Spatiotemporal Learning for Human Pose Estimation on mmWave Video
- Title（参考訳）: MAEPose: mmWaveビデオにおける人物の姿勢推定のための自己教師付き時空間学習
- Authors: Xijia Wei, Yuan Fang, Kevin Chetty, Youngjun Cho, Nadia Bianchi-Berthouze,
- Abstract要約: マスク付き自動符号化に基づく人物ポーズ推定手法であるMAEPoseについて述べる。
厳密な統計的検査により,3つのデータセットにまたがるMAEPoseの評価を行った。
- 参考スコア（独自算出の注目度）: 12.636232510548062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Millimetre-wave (mmWave) radar offers a more privacy-preserving alternative to RGB-based human pose estimation. However, existing methods typically rely on pre-extracted intermediate representations such as sparse point clouds or spectrogram images, where the rich spatiotemporal information naturally present in radar video streams is discarded for model learning, while such signal processing adds system complexity. In addition, existing solutions are mainly conducted in an end-to-end supervised manner without leveraging unlabelled raw video streams to learn generalized representations. In this study, we present MAEPose, a masked autoencoding-based human pose estimation approach that operates directly on mmWave spectrogram videos. MAEPose learns spatiotemporal motion-aware generalized representations from unlabelled radar video, and leverages its heatmap decoder for multi-frame pose estimation predictions. We evaluate it across three datasets based on leave-one-person-out cross-validation with rigorous statistical testing. MAEPose consistently outperforms state-of-the-art baselines by up to 22.1% in MPJPE p<0.05, and maintains robust accuracy under zero-shot bystander interference with only a 6.5% error increase. Ablation studies confirm that both the pre-training and the heatmap decoder contribute substantially, while modality analysis indicates that leveraging Range-Doppler video as input achieves better pose estimation performance than Range-Azimuth or their fusion, with lower computational cost.
- Abstract（参考訳）: Millimetre-wave(mmWave)レーダーは、RGBベースの人間のポーズ推定よりも、よりプライバシー保護的な代替手段を提供する。
しかし、既存の手法は通常、スパースポイント雲やスペクトログラム画像のような事前抽出された中間表現に依存しており、レーダビデオストリームに自然に存在する豊富な時空間情報はモデル学習のために捨てられ、そのような信号処理はシステムの複雑さを増す。
さらに、既存のソリューションは主に、非ラベリングな生のビデオストリームを利用して一般化された表現を学習することなく、エンドツーエンドの教師付き方式で実行される。
本研究では,MAEPoseというマスク付き自動符号化による人物ポーズ推定手法について述べる。
MAEPoseは、非ラベリングレーダビデオから時空間運動対応の一般化表現を学習し、そのヒートマップデコーダを多フレームポーズ推定に活用する。
厳密な統計的テストによる1対1のクロスバリデーションに基づく3つのデータセット間で評価を行った。
MAEPoseは、MPJPE p<0.05において、最先端のベースラインを最大22.1%上回り、ゼロショット傍観者干渉下での堅牢な精度を6.5%の誤差増加で維持する。
アブレーション研究では、事前学習とヒートマップデコーダの両方が実質的に寄与することが確認され、一方、モダリティ解析は、レンジ・ドップラー・ビデオを入力として活用することで、レンジ・アジマスや融合よりも、計算コストの低いポーズ推定性能が向上することを示している。
関連論文リスト
- mmGAT: Pose Estimation by Graph Attention with Mutual Features from mmWave Radar Point Cloud [3.300544441511928]
本稿では, ミリ波レーダ技術の人体ポーズ推定への応用について述べる。
本稿では,ポーズ推定のためのGNN処理手法の潜在能力をフル活用する特徴抽出手法を提案する。
提案手法は,関節位置誤差当たりのポーズ推定平均値(MPJPE)を35.6%,PA-MPJPEを14.1%削減する。
論文 参考訳（メタデータ） (2026-03-09T16:15:45Z) - Quality-Aware Framework for Video-Derived Respiratory Signals [10.760284839837395]
ビデオベースの呼吸速度推定は、抽出法間での信号品質の不整合のため、しばしば信頼性が低い。
本稿では、異種信号源と信頼性の動的評価を統合した予測品質対応フレームワークを提案する。
論文 参考訳（メタデータ） (2025-12-16T05:04:24Z) - iGaussian: Real-Time Camera Pose Estimation via Feed-Forward 3D Gaussian Splatting Inversion [62.09575122593993]
iGaussianは2段階のフィードフォワードフレームワークで、直接3Dガウス変換によるリアルタイムカメラポーズ推定を実現する。
NeRF Synthetic, Mip-NeRF 360, T&T+DB データセットの実験結果から, 従来の手法に比べて大幅な性能向上が得られた。
論文 参考訳（メタデータ） (2025-11-18T05:22:22Z) - A Foundation Model for DAS Signal Recognition and Visual Prompt Tuning of the Pre-trained Model for Downstream Tasks [6.14430079610632]
本研究では,MAEPD と呼ばれる Masked Autocoder に基づくDAS信号認識の基礎モデルを提案する。
このモデルは635860サンプルのデータセットに事前トレーニングされており、DAS歩行信号、2つの時間的GASF画像、パイプライン漏れの2D時間周波数画像、クジラの発声や地震活動を含むオープンデータセット信号を含んでいる。
VPT-Deepアプローチは、パラメータの0.322%しか微調整されていない96.94%の分類精度を達成し、従来のFFT(Full Fine Tuning)法を0.61%上回り、トレーニング時間を短縮する。
論文 参考訳（メタデータ） (2025-08-06T11:02:25Z) - ProbRadarM3F: mmWave Radar based Human Skeletal Pose Estimation with Probability Map Guided Multi-Format Feature Fusion [10.269536505085524]
本稿では,確率マップによるマルチフォーマット特徴融合モデルProbRadarM3Fを提案する。
ProbRadarM3Fは従来のヒートマップの特徴と位置特徴を融合させ、効果的に14個の人体のキーポイントを推定する。
論文 参考訳（メタデータ） (2024-05-08T15:54:57Z) - Coordinate Transformer: Achieving Single-stage Multi-person Mesh
Recovery from Videos [91.44553585470688]
ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。
本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。
3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
論文 参考訳（メタデータ） (2023-08-20T18:23:07Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z) - TempNet: Temporal Attention Towards the Detection of Animal Behaviour in
Videos [63.85815474157357]
本稿では,映像中の生物学的行動を検出するための,効率的なコンピュータビジョンと深層学習に基づく手法を提案する。
TempNetはエンコーダブリッジと残留ブロックを使用して、2段階の空間的、そして時間的、エンコーダでモデル性能を維持する。
本研究では,サブルフィッシュ (Anoplopoma fimbria) 幼虫の検出への応用を実証する。
論文 参考訳（メタデータ） (2022-11-17T23:55:12Z) - HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar [30.51398364813315]
本稿では,ミリ波レーダを用いた人間のポーズ推定ベンチマーク「Human Pose with Millimeter Wave Radar (HuPR)」を紹介する。
このデータセットは、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングのために、クロスキャリブレーションされたmmWaveレーダセンサとモノクラーRGBカメラを用いて作成される。
論文 参考訳（メタデータ） (2022-10-22T22:28:40Z) - Differentiable Frequency-based Disentanglement for Aerial Video Action
Recognition [56.91538445510214]
ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。
我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。
我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-09-15T22:16:52Z) - Self-Attentive 3D Human Pose and Shape Estimation from Videos [82.63503361008607]
3D人間のポーズと形状推定のためのビデオベースの学習アルゴリズムを紹介します。
ビデオの時間情報を利用して自己着脱モジュールを提案する。
本手法を3DPW, MPI-INF-3DHP, Human3.6Mデータセット上で評価した。
論文 参考訳（メタデータ） (2021-03-26T00:02:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。