論文の概要: MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless Sensing

• arxiv url: http://arxiv.org/abs/2305.10345v1
• Date: Fri, 12 May 2023 05:18:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-21 10:44:20.085873
• Title: MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless Sensing
• Title（参考訳）: MM-Fi:Versatile Wireless Sensingのためのマルチモーダル非侵入型4Dヒューマンデータセット
• Authors: Jianfei Yang, He Huang, Yunjiao Zhou, Xinyan Chen, Yuecong Xu, Shenghai Yuan, Han Zou, Chris Xiaoxuan Lu, Lihua Xie
• Abstract要約: MM-Fiは、27の日常的またはリハビリテーション行動カテゴリを持つ最初のマルチモーダルな非侵襲的な4D人的データセットである。 MM-Fiは40人の被験者から5つのモードからなる320k以上の同期フレームで構成されている。
• 参考スコア（独自算出の注目度）: 33.76939880544527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 4D human perception plays an essential role in a myriad of applications, such as home automation and metaverse avatar simulation. However, existing solutions which mainly rely on cameras and wearable devices are either privacy intrusive or inconvenient to use. To address these issues, wireless sensing has emerged as a promising alternative, leveraging LiDAR, mmWave radar, and WiFi signals for device-free human sensing. In this paper, we propose MM-Fi, the first multi-modal non-intrusive 4D human dataset with 27 daily or rehabilitation action categories, to bridge the gap between wireless sensing and high-level human perception tasks. MM-Fi consists of over 320k synchronized frames of five modalities from 40 human subjects. Various annotations are provided to support potential sensing tasks, e.g., human pose estimation and action recognition. Extensive experiments have been conducted to compare the sensing capacity of each or several modalities in terms of multiple tasks. We envision that MM-Fi can contribute to wireless sensing research with respect to action recognition, human pose estimation, multi-modal learning, cross-modal supervision, and interdisciplinary healthcare research.
• Abstract（参考訳）: 4次元人間の知覚は、ホームオートメーションやメタバースアバターシミュレーションなど、無数の応用において重要な役割を果たす。 しかし、カメラやウェアラブルデバイスに主に依存する既存のソリューションは、プライバシーの侵害的または不便である。 これらの問題に対処するため、無線センシングは有望な代替手段として登場し、LiDAR、mmWaveレーダー、WiFi信号をデバイスフリーの人体センシングに活用している。 本稿では,27のリハビリテーションアクションカテゴリを持つ,初のマルチモーダル非インタラクティブ4d人間データセットmm-fiを提案し,無線センシングとハイレベルな人間知覚タスクのギャップを埋める。 MM-Fiは40人の被験者から5つのモードからなる320k以上の同期フレームで構成されている。 潜在的な検知タスク、例えば人間のポーズ推定や行動認識をサポートする様々なアノテーションが提供されている。 複数のタスクの観点から各モダリティまたは複数のモダリティの感知能力を比較するために、広範囲にわたる実験が行われた。 MM-Fiは,行動認識,ポーズ推定,マルチモーダル学習,クロスモーダル監視,学際的医療研究において,無線センシング研究に寄与すると考えられる。

関連論文リスト

• X-Fi: A Modality-Invariant Foundation Model for Multimodal Human Sensing [14.549639729808717]
  現在の人間の感覚は主にカメラとLiDARに依存しており、それぞれに独自の強度と限界がある。 既存のマルチモーダル・フュージョン・ソリューションは、一般に固定されたモダリティの組み合わせのために設計されている。 この問題に対処するために、すべてのモダリティ(X-Fi)に対するモダリティ不変基盤モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-14T05:23:12Z)
• Physical-Layer Semantic-Aware Network for Zero-Shot Wireless Sensing [74.12670841657038]
  デバイスレスワイヤレスセンシングは、幅広い没入型人間機械対話型アプリケーションをサポートする可能性から、近年、大きな関心を集めている。 無線信号におけるデータの均一性と分散センシングにおけるデータプライバシ規制は、広域ネットワークシステムにおける無線センシングの広範な適用を妨げる主要な課題であると考えられている。 そこで本研究では,ラベル付きデータを使わずに,一箇所ないし限られた箇所で構築されたモデルを直接他の場所に転送できるゼロショット無線センシングソリューションを提案する。
  論文  参考訳（メタデータ） (2023-12-08T13:50:30Z)
• DensePose From WiFi [86.61881052177228]
  WiFi信号の位相と振幅を24のヒト領域内の紫外線座標にマッピングするディープニューラルネットワークを開発した。 本モデルでは,複数の被験者の密集したポーズを,画像に基づくアプローチと同等の性能で推定することができる。
  論文  参考訳（メタデータ） (2022-12-31T16:48:43Z)
• mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D, and Inertial Sensors [6.955796938573367]
  mmWave, RGB-D, Inertial Sensors を用いたマルチモーダルな3次元ポーズ推定データセット mRI を提案する。 我々のデータセットは、リハビリテーション運動を行う20人の被験者から160万以上の同期フレームで構成されている。
  論文  参考訳（メタデータ） (2022-10-15T23:08:44Z)
• Cross Vision-RF Gait Re-identification with Low-cost RGB-D Cameras and mmWave Radars [15.662787088335618]
  本研究は, クロスモーダルヒト再識別(ReID)の問題に関する研究である。 マルチモーダル多人数共振器ReIDのための第1種視覚RFシステムを提案する。 提案システムは56名のボランティアのうち92.5%がトップ1の精度、97.5%がトップ5の精度を達成できる。
  論文  参考訳（メタデータ） (2022-07-16T10:34:25Z)
• HuMMan: Multi-Modal 4D Human Dataset for Versatile Sensing and Modeling [83.57675975092496]
  HuMManは、1000人の被験者、400kシーケンス、60Mフレームからなる大規模なマルチモーダル4Dデータセットである。 1)カラーイメージ、ポイントクラウド、キーポイント、SMPLパラメータ、テクスチャメッシュを含むマルチモーダルデータとアノテーション。
  論文  参考訳（メタデータ） (2022-04-28T17:54:25Z)
• Domain and Modality Gaps for LiDAR-based Person Detection on Mobile Robots [91.01747068273666]
  本稿では,移動ロボットのシナリオに着目した既存のLiDAR人物検出装置について検討する。 実験は3Dと2D LiDARのセンサー間のモダリティのギャップだけでなく、運転と移動ロボットのシナリオ間の領域ギャップを回避している。 その結果、LiDARに基づく人物検出の実践的な洞察を与え、関連する移動ロボットの設計と応用に関する情報決定を容易にする。
  論文  参考訳（メタデータ） (2021-06-21T16:35:49Z)
• Semantics-aware Adaptive Knowledge Distillation for Sensor-to-Vision Action Recognition [131.6328804788164]
  本稿では,視覚・センサ・モダリティ(動画)における行動認識を強化するためのフレームワーク,Semantics-Aware Adaptive Knowledge Distillation Networks (SAKDN)を提案する。 SAKDNは複数のウェアラブルセンサーを教師のモダリティとして使用し、RGB動画を学生のモダリティとして使用している。
  論文  参考訳（メタデータ） (2020-09-01T03:38:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。