論文の概要: A Two-Stage Motion-Aware Framework for mmWave-based Human Mesh Recovery
- arxiv url: http://arxiv.org/abs/2605.08530v1
- Date: Fri, 08 May 2026 22:34:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.715225
- Title: A Two-Stage Motion-Aware Framework for mmWave-based Human Mesh Recovery
- Title(参考訳): mmWaveに基づくヒューマンメッシュ回復のための2段階運動認識フレームワーク
- Authors: Hoang Hai Pham, Shuntian Zheng, Jiaqi Li, Yu Guan,
- Abstract要約: 本稿では,レーダーによる人体再構築のための2段階の枠組みを提案する。
まず、粗大な局所化を行う人間の反射抽出モジュールを提案する。
第二に、人体を再構築する動き認識メッシュ回復ネットワークを設計する。
- 参考スコア(独自算出の注目度): 13.982684122303896
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Millimeter-wave (mmWave) radar has emerged as a promising sensing modality for human perception due to its robustness under challenging environmental conditions and strong privacy-preserving properties. However, recovering accurate 3D human body meshes from radar observations remains difficult due to severe signal clutter and the inherently partial nature of radar measurements. Previous works typically adopt end-to-end frameworks that directly regress human body parameters from raw radar data, without decoupling signal interpretation from geometric reasoning or exploiting temporal motion cues, limiting learning performance. To address this, we propose a two-stage framework for radar-based human body reconstruction. First, we introduce a human reflection extraction module that performs coarse-to-fine localization and voxel-wise segmentation to produce a confidence-weighted radar volume encoding voxel-level human likelihood. Second, we design a motion-aware mesh recovery network that reconstructs the human body by jointly modeling per-frame geometry and inter-frame dynamics using a dual-branch architecture. Extensive experiments demonstrate that the proposed method outperforms existing approaches while maintaining computational efficiency.
- Abstract(参考訳): ミリ波レーダー(mmWave)は, 環境条件の厳しい環境条件下での頑健さと, 強いプライバシー保護特性により, 人間の知覚に有望な知覚モダリティとして出現している。
しかし、レーダー観測から正確な3次元人体メッシュを回収することは、信号が乱れ、レーダー測定の本質的に部分的な性質のため、依然として困難である。
従来の研究では、信号解釈を幾何学的推論から切り離すことなく、人体パラメータを直接生のレーダーデータから引き離すエンドツーエンドのフレームワークを採用しており、時間的動きの手がかりを活用でき、学習性能を制限している。
そこで本研究では,レーダーを用いた人体再構築のための2段階の枠組みを提案する。
まず、粗大な局所化とボクセルワイドセグメンテーションを行う人間の反射抽出モジュールを導入し、ボクセルレベルの人間確率を符号化した信頼性重み付きレーダボリュームを生成する。
第2に、デュアルブランチアーキテクチャを用いて、フレーム単位の形状とフレーム間ダイナミクスを共同でモデル化することにより、人体を再構築する動き認識メッシュ回復ネットワークを設計する。
大規模な実験により,提案手法は計算効率を保ちながら既存の手法より優れていることが示された。
関連論文リスト
- HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions [69.43316445143408]
HSImul3Rはヒトとシーンの相互作用をシミュレーション可能な3次元再構成のための統合フレームワークである。
既存の手法は知覚とシミュレーションのギャップに悩まされており、物理エンジンの不安定性と、具体化されたAIアプリケーションの失敗につながっている。
論文 参考訳(メタデータ) (2026-03-16T17:58:33Z) - MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction [54.36564144414704]
MeshMimicは、3Dシーンの再構築とインテリジェンスを組み込んだ革新的なフレームワークで、ヒューマノイドロボットがビデオから直接「モーション・テライン」インタラクションを学習できるようにする。
現状の3次元視覚モデルを活用することで、我々のフレームワークは、人間の軌跡と基礎となる地形や物体の3次元幾何学の両方を正確にセグメント化し再構築する。
論文 参考訳(メタデータ) (2026-02-17T17:09:45Z) - Towards Geometry-Aware and Motion-Guided Video Human Mesh Recovery [60.51998732898099]
HMRMambaは3Dヒューマンメッシュリカバリのための新しいパラダイムである。
構造状態空間モデル(Structured State Space Models)をその効率性と長距離モデリングに利用した先駆者である。
まず、新しいデュアルスキャンのMambaアーキテクチャを特徴とするGeometry-Aware Lifting Moduleについて述べる。
論文 参考訳(メタデータ) (2026-01-29T08:05:02Z) - UniSH: Unifying Scene and Human Reconstruction in a Feed-Forward Pass [83.7071371474926]
UniSHは、統合されたフィードフォワードフレームワークで、共同でメートルスケールの3Dシーンと人間の再構築を行う。
我々のフレームワークは、シーン再構築とHMRとの違いを強く橋渡しします。
本モデルは,人間中心のシーン再構築における最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-01-03T16:06:27Z) - World-Coordinate Human Motion Retargeting via SAM 3D Body [0.3735787582927221]
本稿では,SAM 3D Bodyを凍結した知覚バックボーンとして活用するフレームワークを提案する。
再建された動きを、キネマティクスを意識した2段逆キネマティクスパイプラインを用いて、ユニツリーG1ヒューマノイドに再ターゲティングする。
その結果,本手法は安定な世界軌道と信頼性のあるロボット表現を有することが明らかとなった。
論文 参考訳(メタデータ) (2025-12-25T08:30:04Z) - RadarLLM: Empowering Large Language Models to Understand Human Motion from Millimeter-wave Point Cloud Sequence [10.115852646162843]
本稿では、ミリ波レーダをセンシングモードとして用いた人間の理解に大規模言語モデル(LLM)を利用する最初のフレームワークであるRadar-LLMを提案する。
データ不足に対処するために、モーションテキストデータセットからリアルなレーダテキストペアを生成する物理対応パイプライン合成を導入する。
Radar-LLMは、合成および実世界のベンチマークの両方で最先端のパフォーマンスを実現し、ミリ波信号の自然言語記述への正確な変換を可能にする。
論文 参考訳(メタデータ) (2025-04-14T04:18:25Z) - ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。
Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。
モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
論文 参考訳(メタデータ) (2025-03-27T16:39:40Z) - Diffusion Model is a Good Pose Estimator from 3D RF-Vision [32.72703340013302]
無線周波数ビジョン(RF-vision)からのヒューマンポーズ推定(HPE)は、RF信号を用いて人間のセンシングを行う。
mmWaveレーダーは有望なRFビジョンセンサーとして登場し、RF信号を処理してレーダー点雲を提供する。
本研究は,ノイズレーダデータに適した新しい拡散型ポーズ推定器mmDiffを提案する。
論文 参考訳(メタデータ) (2024-03-24T15:39:52Z) - Machine learning for phase-resolved reconstruction of nonlinear ocean
wave surface elevations from sparse remote sensing data [37.69303106863453]
ニューラルネットワークを用いた位相分解波面再構成のための新しい手法を提案する。
提案手法は,一次元格子を用いた合成的かつ高精度な訓練データを利用する。
論文 参考訳(メタデータ) (2023-05-18T12:30:26Z) - Physics-informed inference of aerial animal movements from weather radar
data [0.0]
我々は、利用可能なレーダデータから移動パターンを再構築する問題に取り組む。
畳み込みデコーダは、推定潜在状態を既知のレーダー観測モデルを適用する物理空間にマッピングする。
合成レーダデータを用いた実験は, 復元品質とデータ効率の観点から有望な結果を示した。
論文 参考訳(メタデータ) (2022-11-08T20:20:52Z) - HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar [30.51398364813315]
本稿では,ミリ波レーダを用いた人間のポーズ推定ベンチマーク「Human Pose with Millimeter Wave Radar (HuPR)」を紹介する。
このデータセットは、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングのために、クロスキャリブレーションされたmmWaveレーダセンサとモノクラーRGBカメラを用いて作成される。
論文 参考訳(メタデータ) (2022-10-22T22:28:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。