論文の概要: G3R: Generating Rich and Fine-grained mmWave Radar Data from 2D Videos for Generalized Gesture Recognition
- arxiv url: http://arxiv.org/abs/2404.14934v1
- Date: Tue, 23 Apr 2024 11:22:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 14:21:26.323049
- Title: G3R: Generating Rich and Fine-grained mmWave Radar Data from 2D Videos for Generalized Gesture Recognition
- Title（参考訳）: G3R:一般化ジェスチャ認識のための2次元映像から高密度・微粒mm波レーダデータを生成する
- Authors: Kaikai Deng, Dong Zhao, Wenxin Zheng, Yue Ling, Kangwen Yin, Huadong Ma,
- Abstract要約: 我々は、リッチな2Dビデオを利用してリアルなレーダデータを生成するソフトウェアパイプラインを開発した。
ユーザジェスチャの多彩できめ細かな反射特性をシミュレートする課題に対処する。
我々は、公開データソースと自己収集現実レーダデータからの2Dビデオを用いて、G3Rを実装し、評価する。
- 参考スコア（独自算出の注目度）: 19.95047010486547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Millimeter wave radar is gaining traction recently as a promising modality for enabling pervasive and privacy-preserving gesture recognition. However, the lack of rich and fine-grained radar datasets hinders progress in developing generalized deep learning models for gesture recognition across various user postures (e.g., standing, sitting), positions, and scenes. To remedy this, we resort to designing a software pipeline that exploits wealthy 2D videos to generate realistic radar data, but it needs to address the challenge of simulating diversified and fine-grained reflection properties of user gestures. To this end, we design G3R with three key components: (i) a gesture reflection point generator expands the arm's skeleton points to form human reflection points; (ii) a signal simulation model simulates the multipath reflection and attenuation of radar signals to output the human intensity map; (iii) an encoder-decoder model combines a sampling module and a fitting module to address the differences in number and distribution of points between generated and real-world radar data for generating realistic radar data. We implement and evaluate G3R using 2D videos from public data sources and self-collected real-world radar data, demonstrating its superiority over other state-of-the-art approaches for gesture recognition.
- Abstract（参考訳）: ミリ波レーダは、広範かつプライバシー保護のジェスチャー認識を可能にするための有望なモダリティとして、近年注目を集めている。
しかし、リッチできめ細かいレーダーデータセットの欠如は、さまざまなユーザ姿勢(例えば、立ち上がり、着座)、位置、シーンにわたるジェスチャー認識のための一般化されたディープラーニングモデルの開発を妨げている。
これを改善するために、我々は、リッチな2Dビデオを利用してリアルなレーダデータを生成するソフトウェアパイプラインを設計するが、ユーザジェスチャーの多彩できめ細かな反射特性をシミュレートする課題に対処する必要がある。
この目的のために、G3Rを3つの重要なコンポーネントで設計する。
i) ジェスチャー反射点発生器は、腕の骨格点を拡張して人間の反射点を形成する。
二 信号シミュレーションモデルにより、レーダ信号のマルチパス反射及び減衰をシミュレートし、人間の強度マップを出力すること。
三 実物レーダデータを生成するために、実物レーダデータと実物レーダデータの点数と分布の差に対処するため、サンプリングモジュールと嵌合モジュールを組み合わせたエンコーダデコーダモデル。
我々はG3Rを公開データソースからの2Dビデオと自己収集した実世界のレーダデータを用いて実装し評価し、ジェスチャー認識における他の最先端アプローチよりも優れていることを示す。
関連論文リスト
- GET-UP: GEomeTric-aware Depth Estimation with Radar Points UPsampling [7.90238039959534]
既存のアルゴリズムは3Dポイントを画像面に投影してレーダデータを処理し、画素レベルの特徴抽出を行う。
レーダデータから2次元情報と3次元情報を交換・集約するために,注目度の高いグラフニューラルネットワーク(GNN)を利用するGET-UPを提案する。
提案したGET-UPをnuScenesデータセット上でベンチマークし,従来最高のパフォーマンスモデルよりも15.3%,14.7%改善した。
論文 参考訳（メタデータ） (2024-09-02T14:15:09Z) - SparseRadNet: Sparse Perception Neural Network on Subsampled Radar Data [5.344444942640663]
レーダー生データは、しばしば過剰なノイズを含むが、レーダー点雲は限られた情報しか保持しない。
本稿では,適応的なサブサンプリング手法と,空間パターンを利用したネットワークアーキテクチャを提案する。
RADIalデータセットの実験により,SparseRadNetはオブジェクト検出における最先端(SOTA)性能を超え,自由空間セグメンテーションにおけるSOTA精度に近づいた。
論文 参考訳（メタデータ） (2024-06-15T11:26:10Z) - Radar Fields: Frequency-Space Neural Scene Representations for FMCW Radar [62.51065633674272]
本稿では,アクティブレーダイメージア用に設計されたニューラルシーン再構成手法であるRadar Fieldsを紹介する。
提案手法では,暗黙的ニューラルジオメトリとリフレクタンスモデルを用いて,暗黙的な物理インフォームドセンサモデルを構築し,生のレーダ測定を直接合成する。
本研究では,密集した車両やインフラを備えた都市景観を含む,多様な屋外シナリオにおける手法の有効性を検証する。
論文 参考訳（メタデータ） (2024-05-07T20:44:48Z) - Echoes Beyond Points: Unleashing the Power of Raw Radar Data in
Multi-modality Fusion [74.84019379368807]
本稿では,既存のレーダ信号処理パイプラインをスキップするEchoFusionという新しい手法を提案する。
具体的には、まずBird's Eye View (BEV)クエリを生成し、次にレーダーから他のセンサーとフューズに対応するスペクトル特徴を取ります。
論文 参考訳（メタデータ） (2023-07-31T09:53:50Z) - Bi-LRFusion: Bi-Directional LiDAR-Radar Fusion for 3D Dynamic Object
Detection [78.59426158981108]
この課題に対処し、動的オブジェクトの3D検出を改善するために、双方向LiDAR-Radar融合フレームワーク、Bi-LRFusionを導入する。
我々はnuScenesとORRデータセットに関する広範な実験を行い、我々のBi-LRFusionが動的オブジェクトを検出するための最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2023-06-02T10:57:41Z) - Semantic Segmentation of Radar Detections using Convolutions on Point
Clouds [59.45414406974091]
本稿では,レーダ検出を点雲に展開する深層学習手法を提案する。
このアルゴリズムは、距離依存クラスタリングと入力点雲の事前処理により、レーダ固有の特性に適応する。
我々のネットワークは、レーダポイント雲のセマンティックセグメンテーションのタスクにおいて、PointNet++に基づく最先端のアプローチよりも優れています。
論文 参考訳（メタデータ） (2023-05-22T07:09:35Z) - Bridging the View Disparity of Radar and Camera Features for Multi-modal
Fusion 3D Object Detection [6.959556180268547]
本稿では3次元物体検出にミリ波レーダとカメラセンサ融合を用いる方法について述べる。
より優れた特徴表現のための鳥眼ビュー(BEV)における特徴レベル融合を実現する新しい手法を提案する。
論文 参考訳（メタデータ） (2022-08-25T13:21:37Z) - R2P: A Deep Learning Model from mmWave Radar to Point Cloud [14.803119281557995]
Radar to Point Cloud (R2P)は3Dオブジェクトの滑らかで密度が高く、高精度なポイントクラウド表現を生成するディープラーニングモデルである。
R2Pは、最近提案した3DRIMR(3D Restruction and Imaging via mmWave Radar)システムのステージ2を置き換える。
論文 参考訳（メタデータ） (2022-07-21T18:01:05Z) - Benchmarking the Robustness of LiDAR-Camera Fusion for 3D Object
Detection [58.81316192862618]
自律運転における3D知覚のための2つの重要なセンサーは、カメラとLiDARである。
これら2つのモダリティを融合させることで、3次元知覚モデルの性能を大幅に向上させることができる。
我々は、最先端の核融合法を初めてベンチマークした。
論文 参考訳（メタデータ） (2022-05-30T09:35:37Z) - 3DRIMR: 3D Reconstruction and Imaging via mmWave Radar based on Deep
Learning [9.26903816093995]
mmWaveレーダーは、低視認性、煙、ほこり、密集した霧環境において効果的なセンシング技術として示されている。
3DRIMR(3DRIMR)は,物体の3次元形状を高密度の細かなクラウド形式で再構成する深層学習型アーキテクチャである。
実験により,3DRIMRの3Dオブジェクト再構成の有効性が実証され,標準技術よりも性能が向上した。
論文 参考訳（メタデータ） (2021-08-05T21:24:57Z) - RadarNet: Exploiting Radar for Robust Perception of Dynamic Objects [73.80316195652493]
我々は、自動運転車の文脈における認識のためにRadarを利用する問題に取り組む。
我々は、LiDARとRadarの両方のセンサーを知覚に利用した新しいソリューションを提案する。
RadarNetと呼ばれる我々のアプローチは、ボクセルベースの早期核融合と注意に基づく後期核融合を特徴としている。
論文 参考訳（メタデータ） (2020-07-28T17:15:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。