論文の概要: mmPose-NLP: A Natural Language Processing Approach to Precise Skeletal
Pose Estimation using mmWave Radars
- arxiv url: http://arxiv.org/abs/2107.10327v1
- Date: Wed, 21 Jul 2021 19:45:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-24 00:02:42.000229
- Title: mmPose-NLP: A Natural Language Processing Approach to Precise Skeletal
Pose Estimation using mmWave Radars
- Title（参考訳）: mmPose-NLP:mmWaveレーダを用いた精密骨格電位推定のための自然言語処理手法
- Authors: Arindam Sengupta and Siyang Cao
- Abstract要約: 本稿では,ミリ波レーダデータを用いたシークエンス・ツー・シークエンス(Seq2Seq)の骨格キーポイント推定器にインスパイアされた新しい自然言語処理(NLP)を提案する。
著者の知る限りでは、これはmmWaveレーダデータだけで25個の骨格キーポイントを正確に推定する最初の方法である。
骨格的なポーズ推定は、自動運転車、交通監視、患者監視、歩行分析、防衛法医学、予防的および行動可能な意思決定の助けなど、いくつかの応用において重要である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we presented mmPose-NLP, a novel Natural Language Processing
(NLP) inspired Sequence-to-Sequence (Seq2Seq) skeletal key-point estimator
using millimeter-wave (mmWave) radar data. To the best of the author's
knowledge, this is the first method to precisely estimate upto 25 skeletal
key-points using mmWave radar data alone. Skeletal pose estimation is critical
in several applications ranging from autonomous vehicles, traffic monitoring,
patient monitoring, gait analysis, to defense security forensics, and aid both
preventative and actionable decision making. The use of mmWave radars for this
task, over traditionally employed optical sensors, provide several advantages,
primarily its operational robustness to scene lighting and adverse weather
conditions, where optical sensor performance degrade significantly. The mmWave
radar point-cloud (PCL) data is first voxelized (analogous to tokenization in
NLP) and $N$ frames of the voxelized radar data (analogous to a text paragraph
in NLP) is subjected to the proposed mmPose-NLP architecture, where the voxel
indices of the 25 skeletal key-points (analogous to keyword extraction in NLP)
are predicted. The voxel indices are converted back to real world 3-D
coordinates using the voxel dictionary used during the tokenization process.
Mean Absolute Error (MAE) metrics were used to measure the accuracy of the
proposed system against the ground truth, with the proposed mmPose-NLP offering
<3 cm localization errors in the depth, horizontal and vertical axes. The
effect of the number of input frames vs performance/accuracy was also studied
for N = {1,2,..,10}. A comprehensive methodology, results, discussions and
limitations are presented in this paper. All the source codes and results are
made available on GitHub for furthering research and development in this
critical yet emerging domain of skeletal key-point estimation using mmWave
radars.
- Abstract（参考訳）: 本稿では,ミリ波(mmwave)レーダデータを用いた,新たな自然言語処理(nlp)を応用した,骨格キーポイント推定器mmpose-nlpを提案する。
著者の知る限りでは、これはmmWaveレーダーデータだけで25個の骨格キーポイントを正確に推定する最初の方法である。
骨格のポーズ推定は、自動運転車、交通監視、患者モニタリング、歩行分析、防衛セキュリティ法医学、予防的かつ行動可能な意思決定の支援など、いくつかのアプリケーションにおいて重要である。
この作業にmmWaveレーダーを用いることは、従来の光学センサーよりも多くの利点をもたらし、主に照明の運用上の堅牢さと、光学センサーの性能が著しく低下する悪天候条件に寄与する。
提案したmmPose-NLPアーキテクチャでは、25個の骨格キーポイント(NLPのキーワード抽出に類似)のボクセル指標を予測し、まず、mWaveレーダポイントクラウド(PCL)データを最初にボクセル化(NLPのトークン化と類似)し、このボクセル化レーダデータのN$フレーム(NLPのテキスト段落と類似)を推定する。
ボクセルインデックスは、トークン化プロセスで使用されるボクセル辞書を用いて実世界の3次元座標に変換される。
平均絶対誤差 (MAE) 測定値を用いて, 提案手法の精度を実測し, 提案したmmPose-NLPは深さ, 水平軸, 垂直軸に<3cmの局所誤差を与える。
n = {1,2,..,10} に対して,入力フレーム数とパフォーマンス/精度の影響も検討した。
本論文では,包括的な方法論,結果,議論,限界について述べる。
ソースコードと結果はすべてGitHubで公開されており、mWaveレーダを使用した骨格キーポイント推定という重要な領域の研究と開発が進められている。
関連論文リスト
- ProbRadarM3F: mmWave Radar based Human Skeletal Pose Estimation with Probability Map Guided Multi-Format Feature Fusion [14.83158440666821]
本稿では,確率マップによるマルチフォーマット特徴融合モデルProbRadarM3Fを提案する。
ProbRadarM3Fは従来のヒートマップの特徴と位置特徴を融合させ、効果的に14個の人体のキーポイントを推定する。
論文 参考訳（メタデータ） (2024-05-08T15:54:57Z) - InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds [91.77050739918037]
スパース画像からの新しいビュー合成(NVS)は3次元コンピュータビジョンにおいて大きく進歩している。
これはStructure-from-Motion (SfM) を用いたカメラパラメータの正確な初期推定に依存する
本研究では,スパースビュー画像から堅牢なNVSを向上するための,新規で効率的なフレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-29T17:29:58Z) - A Benchmark Dataset for Tornado Detection and Prediction using
Full-Resolution Polarimetric Weather Radar Data [4.1241397159763835]
本研究では,竜巻検出および予測における機械学習アルゴリズムの開発を支援するため,新しいベンチマークデータセットであるTorNetを紹介する。
手動による特徴抽出を必要とせずに生のレーダー画像を処理できる新しいディープラーニング(DL)アーキテクチャについて検討した。
手動のフィーチャエンジニアリングや他の前処理の恩恵を受けないにもかかわらず、DLモデルは非DLや運用ベースラインと比較して検出性能が向上している。
論文 参考訳（メタデータ） (2024-01-26T21:47:39Z) - UnLoc: A Universal Localization Method for Autonomous Vehicles using
LiDAR, Radar and/or Camera Input [51.150605800173366]
UnLocは、全ての気象条件におけるマルチセンサー入力によるローカライズのための、新しい統一型ニューラルネットワークアプローチである。
本手法は,Oxford Radar RobotCar,Apollo SouthBay,Perth-WAの各データセットで広く評価されている。
論文 参考訳（メタデータ） (2023-07-03T04:10:55Z) - UncLe-SLAM: Uncertainty Learning for Dense Neural SLAM [60.575435353047304]
我々は、高密度ニューラルネットワークの同時局所化とマッピング(SLAM)のための不確実性学習フレームワークを提案する。
本稿では,2次元入力データのみから自己教師付きで学習可能なセンサ不確実性推定のためのオンラインフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-19T16:26:25Z) - Point Cloud-based Proactive Link Quality Prediction for Millimeter-wave
Communications [2.559190942797394]
本研究は,mmWaveリンク品質予測のためのポイントクラウドベースの手法を提案する。
提案手法は,mmWave受信信号強度とスループットの将来の大減衰を予測できる。
論文 参考訳（メタデータ） (2023-01-02T16:51:40Z) - HuPR: A Benchmark for Human Pose Estimation Using Millimeter Wave Radar [30.51398364813315]
本稿では,ミリ波レーダを用いた人間のポーズ推定ベンチマーク「Human Pose with Millimeter Wave Radar (HuPR)」を紹介する。
このデータセットは、レーダに基づく人間のポーズ推定のクロスモダリティトレーニングのために、クロスキャリブレーションされたmmWaveレーダセンサとモノクラーRGBカメラを用いて作成される。
論文 参考訳（メタデータ） (2022-10-22T22:28:40Z) - RVMDE: Radar Validated Monocular Depth Estimation for Robotics [5.360594929347198]
両眼視センサの固有剛性校正は正確な深度推定に不可欠である。
あるいは、単眼カメラは、深度推定の精度を犠牲にして制限を緩和し、厳しい環境条件下では課題が悪化する。
本研究は, 環境条件下での深度推定のために, 単眼カメラの細粒度データと融合した場合のレーダーからの粗い信号の有用性について検討する。
論文 参考訳（メタデータ） (2021-09-11T12:02:29Z) - Uncertainty-Aware Camera Pose Estimation from Points and Lines [101.03675842534415]
Perspective-n-Point-and-Line (Pn$PL) は、2D-3D特徴座標の3Dモデルに関して、高速で正確で堅牢なカメラローカライゼーションを目指している。
論文 参考訳（メタデータ） (2021-07-08T15:19:36Z) - End-to-End Object Detection with Fully Convolutional Network [71.56728221604158]
エンドツーエンド検出を実現するために,分類のための予測対応ワン・ツー・ワン (POTO) ラベルの割り当てを導入する。
局所領域における畳み込みの判別性を向上させるために, 簡易な3次元maxフィルタ(3dmf)を提案する。
エンドツーエンドのフレームワークは,COCOおよびCrowdHumanデータセット上のNMSを用いて,最先端の多くの検出器と競合する性能を実現する。
論文 参考訳（メタデータ） (2020-12-07T09:14:55Z) - InfoFocus: 3D Object Detection for Autonomous Driving with Dynamic
Information Modeling [65.47126868838836]
動的情報モデリングを用いた新しい3次元オブジェクト検出フレームワークを提案する。
粗い予測は、ボクセルベースの領域提案ネットワークを介して第1段階で生成される。
大規模なnuScenes 3D検出ベンチマークで実験を行った。
論文 参考訳（メタデータ） (2020-07-16T18:27:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。