論文の概要: mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D,
and Inertial Sensors
- arxiv url: http://arxiv.org/abs/2210.08394v1
- Date: Sat, 15 Oct 2022 23:08:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 19:09:21.813586
- Title: mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D,
and Inertial Sensors
- Title(参考訳): mRI:mmWave, RGB-D, 慣性センサを用いたマルチモーダル3次元人物位置推定データセット
- Authors: Sizhe An, Yin Li, Umit Ogras
- Abstract要約: mmWave, RGB-D, Inertial Sensors を用いたマルチモーダルな3次元ポーズ推定データセット mRI を提案する。
我々のデータセットは、リハビリテーション運動を行う20人の被験者から160万以上の同期フレームで構成されている。
- 参考スコア(独自算出の注目度): 6.955796938573367
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The ability to estimate 3D human body pose and movement, also known as human
pose estimation (HPE), enables many applications for home-based health
monitoring, such as remote rehabilitation training. Several possible solutions
have emerged using sensors ranging from RGB cameras, depth sensors,
millimeter-Wave (mmWave) radars, and wearable inertial sensors. Despite
previous efforts on datasets and benchmarks for HPE, few dataset exploits
multiple modalities and focuses on home-based health monitoring. To bridge the
gap, we present mRI, a multi-modal 3D human pose estimation dataset with
mmWave, RGB-D, and Inertial Sensors. Our dataset consists of over 160k
synchronized frames from 20 subjects performing rehabilitation exercises and
supports the benchmarks of HPE and action detection. We perform extensive
experiments using our dataset and delineate the strength of each modality. We
hope that the release of mRI can catalyze the research in pose estimation,
multi-modal learning, and action understanding, and more importantly facilitate
the applications of home-based health monitoring.
- Abstract(参考訳): HPE(Human pose Estimation)としても知られる3次元人のポーズと動きを推定する能力は、遠隔リハビリテーショントレーニングなどの在宅健康モニタリングに多くの応用を可能にする。
RGBカメラ、深度センサー、ミリ波(mmWave)レーダー、ウェアラブル慣性センサーなど、いくつかの可能なソリューションが登場している。
HPEのデータセットとベンチマークに関するこれまでの取り組みにもかかわらず、複数のモダリティを活用して、ホームベースのヘルス監視に重点を置いているデータセットはほとんどない。
このギャップを埋めるために,mmWave, RGB-D, Inertial Sensorsを用いたマルチモーダルな3次元ポーズ推定データセットであるmRIを提案する。
データセットは,リハビリテーション演習を行う20名から160k以上の同期フレームで構成され,hpeとアクション検出のベンチマークをサポートしている。
データセットを使って広範な実験を行い、それぞれのモダリティの強さを記述します。
我々は、mRIのリリースが、ポーズ推定、マルチモーダル学習、行動理解において研究を触媒し、より重要なホームベースの健康モニタリングの応用を促進することを願っている。
関連論文リスト
- Aria-NeRF: Multimodal Egocentric View Synthesis [18.072255584212474]
ニューラルラジアンス場(NeRFs)にインスパイアされた可変体積線トレーシングに基づく、エゴセントリックなデータから訓練されたリッチでマルチモーダルなシーンモデルの開発における研究の加速を目指す。
このデータセットは、RGB画像、アイトラッキングカメラの映像、マイクからの音声記録、気圧計による気圧測定、GPSによる位置座標、デュアル周波数IMUデータセット(1kHzと800Hz)の情報を含む、総合的なセンサデータの収集を提供する。
このデータセットで捉えた多様なデータモダリティと現実世界のコンテキストは、人間の行動に対する理解を深め、より没入的でインテリジェントな体験を可能にするための堅牢な基盤となる。
論文 参考訳(メタデータ) (2023-11-11T01:56:35Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - Intelligent Knee Sleeves: A Real-time Multimodal Dataset for 3D Lower
Body Motion Estimation Using Smart Textile [2.2008680042670123]
本稿では,人間のポーズ推定のために,Intelligent Knee Sleevesの新たなペアを用いてベンチマークを収集したマルチモーダルデータセットを提案する。
本システムは,Knee Sleevesの時系列データと,可視化されたモーションキャプチャーカメラシステムからの対応する地上真実ラベルからなる同期データセットを利用する。
我々はこれらを用いて、異なる活動を行う個人のウェアラブルデータのみに基づく3次元人体モデルを生成する。
論文 参考訳(メタデータ) (2023-10-02T00:34:21Z) - MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless
Sensing [45.29593826502026]
MM-Fiは、27の日常的またはリハビリテーション行動カテゴリを持つ最初のマルチモーダルな非侵襲的な4D人的データセットである。
MM-Fiは40人の被験者から5つのモードからなる320k以上の同期フレームで構成されている。
論文 参考訳(メタデータ) (2023-05-12T05:18:52Z) - Multimodal video and IMU kinematic dataset on daily life activities
using affordable devices (VIDIMU) [0.0]
本データセットの目的は,日常活動の認識と運動解析のために,手頃な価格の患者総運動追跡ソリューションへの道を開くことである。
i)選択した運動の臨床的関連性、(ii)安価なビデオとカスタムセンサーの併用、(iii)3Dボディのポーズ追跡とモーション再構成のマルチモーダルデータ処理のための最先端ツールの実装。
論文 参考訳(メタデータ) (2023-03-27T14:05:49Z) - DensePose From WiFi [86.61881052177228]
WiFi信号の位相と振幅を24のヒト領域内の紫外線座標にマッピングするディープニューラルネットワークを開発した。
本モデルでは,複数の被験者の密集したポーズを,画像に基づくアプローチと同等の性能で推定することができる。
論文 参考訳(メタデータ) (2022-12-31T16:48:43Z) - HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for
Autonomous Driving [95.42203932627102]
3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。
提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。
具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
論文 参考訳(メタデータ) (2022-12-15T11:15:14Z) - HuMMan: Multi-Modal 4D Human Dataset for Versatile Sensing and Modeling [83.57675975092496]
HuMManは、1000人の被験者、400kシーケンス、60Mフレームからなる大規模なマルチモーダル4Dデータセットである。
1)カラーイメージ、ポイントクラウド、キーポイント、SMPLパラメータ、テクスチャメッシュを含むマルチモーダルデータとアノテーション。
論文 参考訳(メタデータ) (2022-04-28T17:54:25Z) - CZU-MHAD: A multimodal dataset for human action recognition utilizing a
depth camera and 10 wearable inertial sensors [1.0742675209112622]
CZU-MHAD (Changzhou University: a comprehensive multi-modal human action dataset) は22のアクションと3つのモーダル時間同期データからなる。
これらのモードには、キネクトv2カメラからの深度ビデオと骨格の位置、および10個のウェアラブルセンサーからの慣性信号が含まれる。
論文 参考訳(メタデータ) (2022-02-07T15:17:08Z) - Domain and Modality Gaps for LiDAR-based Person Detection on Mobile
Robots [91.01747068273666]
本稿では,移動ロボットのシナリオに着目した既存のLiDAR人物検出装置について検討する。
実験は3Dと2D LiDARのセンサー間のモダリティのギャップだけでなく、運転と移動ロボットのシナリオ間の領域ギャップを回避している。
その結果、LiDARに基づく人物検出の実践的な洞察を与え、関連する移動ロボットの設計と応用に関する情報決定を容易にする。
論文 参考訳(メタデータ) (2021-06-21T16:35:49Z) - DMD: A Large-Scale Multi-Modal Driver Monitoring Dataset for Attention
and Alertness Analysis [54.198237164152786]
視覚は運転監視システム(DMS)の最も豊かで費用対効果の高い技術である
十分に大規模で包括的なデータセットの欠如は、DMS開発の進展のボトルネックとなっている。
本稿では,実運転シナリオとシミュレーション運転シナリオを含む広範囲なデータセットであるドライバモニタリングデータセット(DMD)を紹介する。
論文 参考訳(メタデータ) (2020-08-27T12:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。