論文の概要: mmBody Benchmark: 3D Body Reconstruction Dataset and Analysis for
Millimeter Wave Radar
- arxiv url: http://arxiv.org/abs/2209.05070v1
- Date: Mon, 12 Sep 2022 08:00:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 13:27:40.648526
- Title: mmBody Benchmark: 3D Body Reconstruction Dataset and Analysis for
Millimeter Wave Radar
- Title（参考訳）: mmBody ベンチマーク:ミリ波レーダの3次元身体再構成データセットと解析
- Authors: Anjun Chen, Xiangyu Wang, Shaohao Zhu, Yanxu Li, Jiming Chen, Qi Ye
- Abstract要約: ミリ波(mmWave)レーダーは、煙、雨、雪、照明の悪さといった悪環境でも使えるため、人気が高まっている。
以前の研究では、ノイズやスパースなmmWaveレーダ信号から3D骨格やメッシュを再構築する可能性を探っている。
このデータセットは、同期および校正されたmmWaveレーダーポイント雲と、異なるシーンにおけるRGB(D)イメージと、シーン内の人間のためのスケルトン/メシュアノテーションで構成されている。
- 参考スコア（独自算出の注目度）: 11.033162387399928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Millimeter Wave (mmWave) Radar is gaining popularity as it can work in
adverse environments like smoke, rain, snow, poor lighting, etc. Prior work has
explored the possibility of reconstructing 3D skeletons or meshes from the
noisy and sparse mmWave Radar signals. However, it is unclear how accurately we
can reconstruct the 3D body from the mmWave signals across scenes and how it
performs compared with cameras, which are important aspects needed to be
considered when either using mmWave radars alone or combining them with
cameras. To answer these questions, an automatic 3D body annotation system is
first designed and built up with multiple sensors to collect a large-scale
dataset. The dataset consists of synchronized and calibrated mmWave radar point
clouds and RGB(D) images in different scenes and skeleton/mesh annotations for
humans in the scenes. With this dataset, we train state-of-the-art methods with
inputs from different sensors and test them in various scenarios. The results
demonstrate that 1) despite the noise and sparsity of the generated point
clouds, the mmWave radar can achieve better reconstruction accuracy than the
RGB camera but worse than the depth camera; 2) the reconstruction from the
mmWave radar is affected by adverse weather conditions moderately while the
RGB(D) camera is severely affected. Further, analysis of the dataset and the
results shadow insights on improving the reconstruction from the mmWave radar
and the combination of signals from different sensors.
- Abstract（参考訳）: ミリ波(mmWave)レーダーは、煙、雨、雪、照明の悪さといった悪環境でも使えるため、人気が高まっている。
以前の研究では、ノイズやスパースなmmWaveレーダ信号から3D骨格やメッシュを再構築する可能性を探っている。
しかし,mmWaveレーダを単独で使用したり,カメラと組み合わせたりする場合に考慮すべき重要な側面として,シーン間のmmWave信号からどのように3Dボディを再構築できるかは明らかではない。
これらの質問に答えるために、自動3Dボディアノテーションシステムが最初に設計され、複数のセンサーで構築され、大規模なデータセットを収集する。
データセットは、同期および校正されたmmWaveレーダーポイント雲と、異なるシーンにおけるRGB(D)イメージと、シーン内の人間のためのスケルトン/メシュアノテーションで構成されている。
このデータセットでは、さまざまなセンサからの入力を使って最先端のメソッドをトレーニングし、さまざまなシナリオでテストします。
その結果は
1)生成した点雲のノイズやスパース性にもかかわらず,mmwaveレーダは,rgbカメラよりも再構成精度は高いが,深度カメラよりは劣る。
2)RGB(D)カメラは深刻な影響を受けながら,mmWaveレーダからの再構成は悪天候の影響を受けやすい。
さらに、mmウェーブレーダからの再構成と異なるセンサからの信号の組み合わせを改善するためのデータセットと結果のシャドーインサイトの分析を行う。
関連論文リスト
- Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-05-07T20:44:48Z) - DIDLM:A Comprehensive Multi-Sensor Dataset with Infrared Cameras, Depth Cameras, LiDAR, and 4D Millimeter-Wave Radar in Challenging Scenarios for 3D Mapping [7.050468075029598]
本研究では,屋内・屋外環境における3次元マッピングのための総合的マルチセンサ・データセットを提案する。
このデータセットは、赤外線カメラ、深度カメラ、LiDAR、および4Dミリ波レーダーからのデータで構成されている。
さまざまなSLAMアルゴリズムを使用してデータセットを処理し、異なるシナリオにおけるアルゴリズムのパフォーマンスの違いを明らかにする。
論文 参考訳（メタデータ） (2024-04-15T09:49:33Z) - Differentiable Radio Frequency Ray Tracing for Millimeter-Wave Sensing [29.352303349003165]
我々はmmWaveベースの3D再構成のための微分可能なフレームワークDiffSBRを提案する。
DiffSBRは、仮想3Dモデルからレーダーポイント雲をシミュレートするために、微分可能なレイトレーシングエンジンを組み込んでいる。
各種レーダーハードウェアを用いた実験は、ディフSBRの微細な3D再構成能力を検証する。
論文 参考訳（メタデータ） (2023-11-22T06:13:39Z) - Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous
Driving [30.456314610767667]
CRUW3Dデータセットには、66K同期カメラ、レーダー、LiDARフレームが含まれる。
この種のフォーマットは、カメラとレーダーの間の情報や特徴を融合させた後、機械学習モデルによりより信頼性の高い知覚結果が得られる。
論文 参考訳（メタデータ） (2023-11-17T01:07:37Z) - Diffusion Models for Interferometric Satellite Aperture Radar [73.01013149014865]
確率拡散モデル (Probabilistic Diffusion Models, PDMs) は、最近、非常に有望な生成モデルのクラスとして登場した。
ここでは、PDMを活用して、レーダーベースの衛星画像データセットを複数生成する。
PDMは複雑で現実的な構造を持つ画像を生成することに成功したが、サンプリング時間は依然として問題である。
論文 参考訳（メタデータ） (2023-08-31T16:26:17Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-06-02T10:57:41Z) - CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for
Robust 3D Object Detection [12.557361522985898]
本稿では,カメラとレーダーの読み取りを3次元空間に融合させるカメラレーダマッチングネットワークCramNetを提案する。
本手法は, カメラやレーダセンサが車両内で突然故障した場合においても, 頑健な3次元物体検出を実現するセンサモダリティ・ドロップアウトによるトレーニングを支援する。
論文 参考訳（メタデータ） (2022-10-17T17:18:47Z) - 3DRIMR: 3D Reconstruction and Imaging via mmWave Radar based on Deep
Learning [9.26903816093995]
mmWaveレーダーは、低視認性、煙、ほこり、密集した霧環境において効果的なセンシング技術として示されている。
3DRIMR(3DRIMR)は,物体の3次元形状を高密度の細かなクラウド形式で再構成する深層学習型アーキテクチャである。
実験により,3DRIMRの3Dオブジェクト再構成の有効性が実証され,標準技術よりも性能が向上した。
論文 参考訳（メタデータ） (2021-08-05T21:24:57Z) - Depth Estimation from Monocular Images and Sparse Radar Data [93.70524512061318]
本稿では,ディープニューラルネットワークを用いた単眼画像とレーダ点の融合により,より正確な深度推定を実現する可能性を検討する。
レーダ測定で発生するノイズが,既存の融合法の適用を妨げている主要な理由の1つであることが判明した。
実験はnuScenesデータセット上で行われ、カメラ、レーダー、LiDARの記録を様々な場面と気象条件で記録する最初のデータセットの1つである。
論文 参考訳（メタデータ） (2020-09-30T19:01:33Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。