論文の概要: 3DRIMR: 3D Reconstruction and Imaging via mmWave Radar based on Deep
Learning
- arxiv url: http://arxiv.org/abs/2108.02858v1
- Date: Thu, 5 Aug 2021 21:24:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-09 14:42:51.219641
- Title: 3DRIMR: 3D Reconstruction and Imaging via mmWave Radar based on Deep
Learning
- Title(参考訳): 3DRIMR:深層学習に基づくミリ波レーダによる3次元再構成とイメージング
- Authors: Yue Sun, Zhuoming Huang, Honggang Zhang, Zhi Cao, Deqiang Xu
- Abstract要約: mmWaveレーダーは、低視認性、煙、ほこり、密集した霧環境において効果的なセンシング技術として示されている。
3DRIMR(3DRIMR)は,物体の3次元形状を高密度の細かなクラウド形式で再構成する深層学習型アーキテクチャである。
実験により,3DRIMRの3Dオブジェクト再構成の有効性が実証され,標準技術よりも性能が向上した。
- 参考スコア(独自算出の注目度): 9.26903816093995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: mmWave radar has been shown as an effective sensing technique in low
visibility, smoke, dusty, and dense fog environment. However tapping the
potential of radar sensing to reconstruct 3D object shapes remains a great
challenge, due to the characteristics of radar data such as sparsity, low
resolution, specularity, high noise, and multi-path induced shadow reflections
and artifacts. In this paper we propose 3D Reconstruction and Imaging via
mmWave Radar (3DRIMR), a deep learning based architecture that reconstructs 3D
shape of an object in dense detailed point cloud format, based on sparse raw
mmWave radar intensity data. The architecture consists of two back-to-back
conditional GAN deep neural networks: the first generator network generates 2D
depth images based on raw radar intensity data, and the second generator
network outputs 3D point clouds based on the results of the first generator.
The architecture exploits both convolutional neural network's convolutional
operation (that extracts local structure neighborhood information) and the
efficiency and detailed geometry capture capability of point clouds (other than
costly voxelization of 3D space or distance fields). Our experiments have
demonstrated 3DRIMR's effectiveness in reconstructing 3D objects, and its
performance improvement over standard techniques.
- Abstract(参考訳): mmWaveレーダーは、低視認性、煙、ほこり、密集した霧環境において効果的なセンシング技術として示されている。
しかし,3次元物体の形状を再現するためのレーダーセンシングの可能性は,スパーシティ,低分解能,スペクティリティ,高ノイズ,マルチパス誘導影反射やアーティファクトといったレーダーデータの特徴から,依然として大きな課題となっている。
本稿では,mmWaveレーダによる3次元再構成とイメージングを提案する。この3DRIMRは,粗い生のmmWaveレーダ強度データに基づいて,高密度の細いクラウド形式で物体の3次元形状を再構成するディープラーニングアーキテクチャである。
第1のジェネレータネットワークは、生のレーダー強度データに基づいて2次元深度画像を生成し、第2のジェネレータネットワークは、第1のジェネレータの結果に基づいて3Dポイント雲を出力する。
このアーキテクチャは、畳み込みニューラルネットワークの畳み込み操作(局所構造近傍情報を抽出する)と点雲の効率性と詳細な幾何捕獲能力(3次元空間や距離場のコストの高いボキセル化を除く)の両方を利用する。
実験により,3DRIMRの3Dオブジェクト再構成の有効性が実証され,標準技術よりも性能が向上した。
関連論文リスト
- VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳(メタデータ) (2024-04-15T03:12:12Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z) - 3D Reconstruction of Multiple Objects by mmWave Radar on UAV [15.47494720280318]
UAVに搭載されたミリ波レーダーセンサを用いて空間内の複数の物体の3次元形状を再構成する可能性を検討する。
UAVは宇宙の様々な場所でホバリングし、搭載されたレーダーセンサーはSAR(Synthetic Aperture Radar)操作で空間をスキャンすることで生のレーダーデータを収集する。
レーダデータはディープニューラルネットワークモデルに送信され、空間内の複数のオブジェクトの点雲再構成を出力する。
論文 参考訳(メタデータ) (2022-11-03T21:23:36Z) - Bridged Transformer for Vision and Point Cloud 3D Object Detection [92.86856146086316]
Bridged Transformer (BrT) は、3Dオブジェクト検出のためのエンドツーエンドアーキテクチャである。
BrTは3Dオブジェクトと2Dオブジェクトのバウンディングボックスを、ポイントとイメージパッチの両方から識別する。
BrTがSUN RGB-DおよびScanNetV2データセットの最先端手法を上回ることを示す。
論文 参考訳(メタデータ) (2022-10-04T05:44:22Z) - mmBody Benchmark: 3D Body Reconstruction Dataset and Analysis for
Millimeter Wave Radar [10.610455816814985]
ミリ波(mmWave)レーダーは、煙、雨、雪、照明の悪さといった悪環境でも使えるため、人気が高まっている。
以前の研究では、ノイズやスパースなmmWaveレーダ信号から3D骨格やメッシュを再構築する可能性を探っている。
このデータセットは、同期および校正されたmmWaveレーダーポイント雲と、異なるシーンにおけるRGB(D)イメージと、シーン内の人間のためのスケルトン/メシュアノテーションで構成されている。
論文 参考訳(メタデータ) (2022-09-12T08:00:31Z) - R2P: A Deep Learning Model from mmWave Radar to Point Cloud [14.803119281557995]
Radar to Point Cloud (R2P)は3Dオブジェクトの滑らかで密度が高く、高精度なポイントクラウド表現を生成するディープラーニングモデルである。
R2Pは、最近提案した3DRIMR(3D Restruction and Imaging via mmWave Radar)システムのステージ2を置き換える。
論文 参考訳(メタデータ) (2022-07-21T18:01:05Z) - VPFNet: Improving 3D Object Detection with Virtual Point based LiDAR and
Stereo Data Fusion [62.24001258298076]
VPFNetは、ポイントクラウドとイメージデータを仮想のポイントで巧みに調整し集約する新しいアーキテクチャである。
当社のVPFNetは,KITTIテストセットで83.21%の中等度3D AP,91.86%中等度BEV APを達成し,2021年5月21日以来の1位となった。
論文 参考訳(メタデータ) (2021-11-29T08:51:20Z) - DeepPoint: A Deep Learning Model for 3D Reconstruction in Point Clouds
via mmWave Radar [10.119506666546663]
本稿では,3次元オブジェクトをポイントクラウド形式で生成するディープラーニングモデルであるDeepPointを紹介する。
3DRIMRのStage 1で生成されたオブジェクトの2D深度画像を入力として、オブジェクトの滑らかで密度の高い3D点雲を出力する。
実験により,本モデルが元の3DRIMRや他の標準技術よりも優れていることが示された。
論文 参考訳(メタデータ) (2021-09-19T18:28:20Z) - PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object
Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
点雲は3次元座標における空間データの密集したコンパイルである。
我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-03T05:36:39Z) - VR3Dense: Voxel Representation Learning for 3D Object Detection and
Monocular Dense Depth Reconstruction [0.951828574518325]
3次元物体検出と単眼深層再構成ニューラルネットワークを共同トレーニングする方法を紹介します。
推論中に入力、LiDARポイントクラウド、単一のRGBイメージとして取得し、オブジェクトポーズ予測と密に再構築された深度マップを生成します。
物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
論文 参考訳(メタデータ) (2021-04-13T04:25:54Z) - Cross-Modality 3D Object Detection [63.29935886648709]
本稿では,3次元物体検出のための新しい2段階多モード融合ネットワークを提案する。
アーキテクチャ全体が2段階の融合を促進する。
KITTIデータセットを用いた実験により,提案したマルチステージ融合により,ネットワークがより良い表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2020-08-16T11:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。