論文の概要: Towards Weather-Robust 3D Human Body Reconstruction: Millimeter-Wave Radar-Based Dataset, Benchmark, and Multi-Modal Fusion
- arxiv url: http://arxiv.org/abs/2409.04851v2
- Date: Wed, 18 Dec 2024 03:40:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 13:24:20.137125
- Title: Towards Weather-Robust 3D Human Body Reconstruction: Millimeter-Wave Radar-Based Dataset, Benchmark, and Multi-Modal Fusion
- Title（参考訳）: 気象・ロバスト3次元人体再構成に向けて:ミリ波レーダベースデータセット,ベンチマーク,マルチモーダルフュージョン
- Authors: Anjun Chen, Xiangyu Wang, Kun Shi, Yuchi Huo, Jiming Chen, Qi Ye,
- Abstract要約: RGB画像から3Dの人体を復元すると、天気は良いが、悪天候では劇的に劣化する。
mmWaveレーダーは、悪天候下で3Dの関節とメッシュを再構築するために使われてきた。
各種気象条件下で3次元人体を堅牢に再構築する最初のmmWave-RGB融合ソリューションであるImmFusionを設計する。
- 参考スコア（独自算出の注目度）: 13.082760040398147
- License:
- Abstract: 3D human reconstruction from RGB images achieves decent results in good weather conditions but degrades dramatically in rough weather. Complementarily, mmWave radars have been employed to reconstruct 3D human joints and meshes in rough weather. However, combining RGB and mmWave signals for weather-robust 3D human reconstruction is still an open challenge, given the sparse nature of mmWave and the vulnerability of RGB images. The limited research about the impact of missing points and sparsity features of mmWave data on reconstruction performance, as well as the lack of available datasets for paired mmWave-RGB data, further complicates the process of fusing the two modalities. To fill these gaps, we build up an automatic 3D body annotation system with multiple sensors to collect a large-scale mmWave dataset. The dataset consists of synchronized and calibrated mmWave radar point clouds and RGB(D) images under different weather conditions and skeleton/mesh annotations for humans in these scenes. With this dataset, we conduct a comprehensive analysis about the limitations of single-modality reconstruction and the impact of missing points and sparsity on the reconstruction performance. Based on the guidance of this analysis, we design ImmFusion, the first mmWave-RGB fusion solution to robustly reconstruct 3D human bodies in various weather conditions. Specifically, our ImmFusion consists of image and point backbones for token feature extraction and a Transformer module for token fusion. The image and point backbones refine global and local features from original data, and the Fusion Transformer Module aims for effective information fusion of two modalities by dynamically selecting informative tokens. Extensive experiments demonstrate that ImmFusion can efficiently utilize the information of two modalities to achieve robust 3D human body reconstruction in various weather environments.
- Abstract（参考訳）: RGB画像から3Dの人体を復元すると、天気は良いが、悪天候では劇的に劣化する。
mmWaveレーダーは、悪天候下で3Dの関節とメッシュを再構築するために使われてきた。
しかし、RGB と mmWave の信号を組み合わせることで、RGB 画像の弱さや弱さを考えると、RGB と mmWave の信号の組み合わせは依然として未解決の課題である。
mmWaveデータの欠落点と空間的特徴が再構成性能に与える影響、およびペア化した mmWave-RGB データのデータセットの欠如についての研究は、さらに2つのモダリティを融合させる過程を複雑にしている。
これらのギャップを埋めるために,複数のセンサを備えた自動3Dボディアノテーションシステムを構築し,大規模なmmWaveデータセットを収集する。
データセットは、同期および校正されたmmWaveレーダーポイント雲と、異なる天候条件下でのRGB(D)イメージと、これらのシーンにおける人間のスケルトン/メッシュアノテーションで構成されている。
本データセットでは,単一モダリティ再構築の限界と,欠落点と疎度が再建性能に与える影響を包括的に分析する。
この分析の指針に基づき,各種気象条件下で3次元人体を堅牢に再構築する最初のmmWave-RGB融合ソリューションであるImmFusionを設計した。
具体的には、ImmFusionはトークンの特徴抽出のための画像とポイントのバックボーンとトークン融合のためのTransformerモジュールで構成されています。
画像と点のバックボーンは元のデータからグローバルな特徴とローカルな特徴を洗練し、Fusion Transformer Moduleは情報トークンを動的に選択することで2つのモードの効果的な情報融合を目指している。
広汎な実験により,ImmFusionは2つのモードの情報を効率的に利用し,様々な気象環境下で頑健な3次元人体再構築を実現することができることが示された。
関連論文リスト
- Differentiable Radio Frequency Ray Tracing for Millimeter-Wave Sensing [29.352303349003165]
我々はmmWaveベースの3D再構成のための微分可能なフレームワークDiffSBRを提案する。
DiffSBRは、仮想3Dモデルからレーダーポイント雲をシミュレートするために、微分可能なレイトレーシングエンジンを組み込んでいる。
各種レーダーハードウェアを用いた実験は、ディフSBRの微細な3D再構成能力を検証する。
論文 参考訳（メタデータ） (2023-11-22T06:13:39Z) - ImmFusion: Robust mmWave-RGB Fusion for 3D Human Body Reconstruction in
All Weather Conditions [23.146325482439988]
ImmFusionは3次元人体を頑健に再構成する最初のmmWave-RGB核融合法である。
本手法の精度は, 最先端のトランスフォーマーを用いたLiDAR-camera fusion法よりも優れている。
論文 参考訳（メタデータ） (2022-10-04T03:30:18Z) - mmBody Benchmark: 3D Body Reconstruction Dataset and Analysis for
Millimeter Wave Radar [10.610455816814985]
ミリ波(mmWave)レーダーは、煙、雨、雪、照明の悪さといった悪環境でも使えるため、人気が高まっている。
以前の研究では、ノイズやスパースなmmWaveレーダ信号から3D骨格やメッシュを再構築する可能性を探っている。
このデータセットは、同期および校正されたmmWaveレーダーポイント雲と、異なるシーンにおけるRGB(D)イメージと、シーン内の人間のためのスケルトン/メシュアノテーションで構成されている。
論文 参考訳（メタデータ） (2022-09-12T08:00:31Z) - Bridging the View Disparity of Radar and Camera Features for Multi-modal
Fusion 3D Object Detection [6.959556180268547]
本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。
より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-08-25T13:21:37Z) - TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with
Transformers [49.689566246504356]
そこで本研究では,LiDAR-カメラ融合に対するソフトアソシエーション機構による堅牢な解であるTransFusionを提案する。
TransFusionは大規模データセット上で最先端のパフォーマンスを実現する。
提案手法を3次元トラッキングタスクに拡張し,nuScenesトラッキングのリーダーボードにおける第1位を達成する。
論文 参考訳（メタデータ） (2022-03-22T07:15:13Z) - Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors [52.38220261632204]
PIFuをベースとした再建術では, 顔面の平坦化が頻発する。
再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。
顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
論文 参考訳（メタデータ） (2021-12-03T18:46:49Z) - VPFNet: Improving 3D Object Detection with Virtual Point based LiDAR and
Stereo Data Fusion [62.24001258298076]
VPFNetは、ポイントクラウドとイメージデータを仮想のポイントで巧みに調整し集約する新しいアーキテクチャである。
当社のVPFNetは,KITTIテストセットで83.21%の中等度3D AP,91.86%中等度BEV APを達成し,2021年5月21日以来の1位となった。
論文 参考訳（メタデータ） (2021-11-29T08:51:20Z) - 3DRIMR: 3D Reconstruction and Imaging via mmWave Radar based on Deep
Learning [9.26903816093995]
mmWaveレーダーは、低視認性、煙、ほこり、密集した霧環境において効果的なセンシング技術として示されている。
3DRIMR(3DRIMR)は,物体の3次元形状を高密度の細かなクラウド形式で再構成する深層学習型アーキテクチャである。
実験により,3DRIMRの3Dオブジェクト再構成の有効性が実証され,標準技術よりも性能が向上した。
論文 参考訳（メタデータ） (2021-08-05T21:24:57Z) - EPMF: Efficient Perception-aware Multi-sensor Fusion for 3D Semantic Segmentation [62.210091681352914]
自律運転やロボティクスなど,多くのアプリケーションを対象とした3次元セマンティックセマンティックセグメンテーションのためのマルチセンサフュージョンについて検討する。
本研究では,知覚認識型マルチセンサフュージョン(PMF)と呼ばれる協調融合方式について検討する。
本稿では,2つのモードから特徴を分離して抽出する2ストリームネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-21T10:47:26Z) - Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth
Estimation [81.08111209632501]
長距離深度推定のための幾何認識型ステレオLiDAR融合ネットワークを提案する。
ステレオ画像の対応を統一した3Dボリューム空間で導くためのキューとして、スパースで正確な点群を活用します。
我々のネットワークは,KITTIおよびVirtual-KITTIデータセット上での最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2021-03-24T03:24:46Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳（メタデータ） (2020-08-16T11:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。