論文の概要: mmDEAR: mmWave Point Cloud Density Enhancement for Accurate Human Body Reconstruction

• arxiv url: http://arxiv.org/abs/2503.02375v1
• Date: Tue, 04 Mar 2025 08:03:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:17:55.447616
• Title: mmDEAR: mmWave Point Cloud Density Enhancement for Accurate Human Body Reconstruction
• Title（参考訳）: mmDEAR:正確な人体再構成のためのmm波点雲密度向上
• Authors: Jiarui Yang, Songpengcheng Xia, Zengyuan Lai, Lan Sun, Qi Wu, Wenxian Yu, Ling Pei,
• Abstract要約: そこで本研究では,mmWave点雲を向上し,身体再構成精度を向上する2段階のディープラーニングフレームワークを提案する。 我々のアプローチは最先端の手法よりも優れており、既存のモデルに統合された場合の性能がさらに向上する。
• 参考スコア（独自算出の注目度）: 14.480271406960467
• License:
• Abstract: Millimeter-wave (mmWave) radar offers robust sensing capabilities in diverse environments, making it a highly promising solution for human body reconstruction due to its privacy-friendly and non-intrusive nature. However, the significant sparsity of mmWave point clouds limits the estimation accuracy. To overcome this challenge, we propose a two-stage deep learning framework that enhances mmWave point clouds and improves human body reconstruction accuracy. Our method includes a mmWave point cloud enhancement module that densifies the raw data by leveraging temporal features and a multi-stage completion network, followed by a 2D-3D fusion module that extracts both 2D and 3D motion features to refine SMPL parameters. The mmWave point cloud enhancement module learns the detailed shape and posture information from 2D human masks in single-view images. However, image-based supervision is involved only during the training phase, and the inference relies solely on sparse point clouds to maintain privacy. Experiments on multiple datasets demonstrate that our approach outperforms state-of-the-art methods, with the enhanced point clouds further improving performance when integrated into existing models.
• Abstract（参考訳）: ミリ波レーダー(mmWave)は、様々な環境で堅牢なセンシング機能を提供しており、プライバシーに優しい非侵襲的な性質のため、人間の体を再構築するための非常に有望なソリューションである。 しかし、mWave点雲のかなりの間隔は、推定精度を制限している。 この課題を克服するために,ミリ波点雲を向上し,人体復元精度を向上させる2段階の深層学習フレームワークを提案する。 提案手法は,時間的特徴と多段階補完網を利用して生データを高密度化するmmWaveポイントクラウド拡張モジュールと,SMPLパラメータを洗練するために2次元と3次元の両方の運動特徴を抽出する2D-3D融合モジュールとを含む。 mmWaveポイントクラウドエンハンスメントモジュールは、シングルビュー画像中の2次元マスクから詳細な形状と姿勢情報を学習する。 しかし、イメージベースの監視はトレーニングフェーズにのみ関与し、推論はプライバシを維持するためにスパーポイントクラウドにのみ依存する。 複数のデータセットの実験により、我々のアプローチは最先端の手法よりも優れており、既存のモデルに統合された場合のパフォーマンスがさらに向上することが示された。

関連論文リスト

• Pre-training a Density-Aware Pose Transformer for Robust LiDAR-based 3D Human Pose Estimation [27.25933965875881]
  LiDARベースの3Dヒューマンポース推定が研究の焦点となっている。 既存の手法のほとんどは、時間情報、マルチモーダル融合、あるいはSMPL最適化を使ってバイアスのある結果を修正する。 本稿では,ポイントクラウドのモデリングと拡張に関する洞察を提供する,シンプルながら強力な手法を提案する。
  論文  参考訳（メタデータ） (2024-12-18T02:54:30Z)
• Towards Weather-Robust 3D Human Body Reconstruction: Millimeter-Wave Radar-Based Dataset, Benchmark, and Multi-Modal Fusion [13.082760040398147]
  RGB画像から3Dの人体を復元すると、天気は良いが、悪天候では劇的に劣化する。 mmWaveレーダーは、悪天候下で3Dの関節とメッシュを再構築するために使われてきた。 各種気象条件下で3次元人体を堅牢に再構築する最初のmmWave-RGB融合ソリューションであるImmFusionを設計する。
  論文  参考訳（メタデータ） (2024-09-07T15:06:30Z)
• Fast Training of Diffusion Transformer with Extreme Masking for 3D Point Clouds Generation [64.99362684909914]
  我々は,効率的な3次元点雲生成に適したマスク付き拡散変圧器であるFastDiT-3Dを提案する。 また,新しいボクセル対応マスキング手法を提案し,ボクセル化点雲から背景・地上情報を適応的に集約する。 本手法は, マスキング比が99%近い最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-12-12T12:50:33Z)
• Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models [97.58685709663287]
  生成事前学習は、2次元視覚における基本モデルの性能を高めることができる。 3Dビジョンでは、トランスフォーマーベースのバックボーンの過度な信頼性と、点雲の秩序のない性質により、生成前のトレーニングのさらなる発展が制限されている。 本稿では,任意の点クラウドモデルに適用可能な3D-to-2D生成事前学習法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:07:03Z)
• R2P: A Deep Learning Model from mmWave Radar to Point Cloud [14.803119281557995]
  Radar to Point Cloud (R2P)は3Dオブジェクトの滑らかで密度が高く、高精度なポイントクラウド表現を生成するディープラーニングモデルである。 R2Pは、最近提案した3DRIMR(3D Restruction and Imaging via mmWave Radar)システムのステージ2を置き換える。
  論文  参考訳（メタデータ） (2022-07-21T18:01:05Z)
• DeepPoint: A Deep Learning Model for 3D Reconstruction in Point Clouds via mmWave Radar [10.119506666546663]
  本稿では,3次元オブジェクトをポイントクラウド形式で生成するディープラーニングモデルであるDeepPointを紹介する。 3DRIMRのStage 1で生成されたオブジェクトの2D深度画像を入力として、オブジェクトの滑らかで密度の高い3D点雲を出力する。 実験により,本モデルが元の3DRIMRや他の標準技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-19T18:28:20Z)
• EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
  自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。 本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。 本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-21T10:47:26Z)
• Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation [81.08111209632501]
  長距離深度推定のための幾何認識型ステレオLiDAR融合ネットワークを提案する。 ステレオ画像の対応を統一した3Dボリューム空間で導くためのキューとして、スパースで正確な点群を活用します。 我々のネットワークは,KITTIおよびVirtual-KITTIデータセット上での最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-03-24T03:24:46Z)
• Cross-Modality 3D Object Detection [63.29935886648709]
  本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。 アーキテクチャ全体が2段階の融合を促進する。 KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
  論文  参考訳（メタデータ） (2020-08-16T11:01:20Z)
• Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision [68.35777836993212]
  我々はPseudo-LiDAR点雲ネットワークを提案し、時間的および空間的に高品質な点雲列を生成する。 点雲間のシーンフローを活用することにより,提案ネットワークは3次元空間運動関係のより正確な表現を学習することができる。
  論文  参考訳（メタデータ） (2020-06-20T03:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。