論文の概要: XRF V2: A Dataset for Action Summarization with Wi-Fi Signals, and IMUs in Phones, Watches, Earbuds, and Glasses

• arxiv url: http://arxiv.org/abs/2501.19034v1
• Date: Fri, 31 Jan 2025 11:03:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:53.196672
• Title: XRF V2: A Dataset for Action Summarization with Wi-Fi Signals, and IMUs in Phones, Watches, Earbuds, and Glasses
• Title（参考訳）: XRF V2:電話、時計、イヤホン、ガラスにおけるWi-Fi信号とIMUによるアクション要約のためのデータセット
• Authors: Bo Lan, Pei Li, Jiaxi Yin, Yunpeng Song, Ge Wang, Han Ding, Jinsong Han, Fei Wang,
• Abstract要約: HAR(Human Action Recognition)は、健康モニタリング、スマートホームオートメーション、人間とコンピュータのインタラクションといった応用において重要な役割を果たす。 本稿では,室内活動の時間的行動ローカライゼーション(TAL)と行動要約のための新しいXRF V2データセットを提案する。 XRF V2は、Wi-Fi信号、IMUセンサー(スマートフォン、スマートウォッチ、ヘッドフォン、スマートグラス)からのマルチモーダルデータと、同期されたビデオ記録を統合し、3つの異なる環境で16人のボランティアによる多様な屋内活動のコレクションを提供する。
• 参考スコア（独自算出の注目度）: 16.719450267322653
• License:
• Abstract: Human Action Recognition (HAR) plays a crucial role in applications such as health monitoring, smart home automation, and human-computer interaction. While HAR has been extensively studied, action summarization, which involves identifying and summarizing continuous actions, remains an emerging task. This paper introduces the novel XRF V2 dataset, designed for indoor daily activity Temporal Action Localization (TAL) and action summarization. XRF V2 integrates multimodal data from Wi-Fi signals, IMU sensors (smartphones, smartwatches, headphones, and smart glasses), and synchronized video recordings, offering a diverse collection of indoor activities from 16 volunteers across three distinct environments. To tackle TAL and action summarization, we propose the XRFMamba neural network, which excels at capturing long-term dependencies in untrimmed sensory sequences and outperforms state-of-the-art methods, such as ActionFormer and WiFiTAD. We envision XRF V2 as a valuable resource for advancing research in human action localization, action forecasting, pose estimation, multimodal foundation models pre-training, synthetic data generation, and more.
• Abstract（参考訳）: HAR(Human Action Recognition)は、健康モニタリング、スマートホームオートメーション、人間とコンピュータのインタラクションといった応用において重要な役割を果たす。 HARは広く研究されているが、連続的な行動を特定し、要約するアクション要約は、いまだに新しい課題である。 本稿では,室内における活動時間的行動局所化(TAL)と行動要約のための新しいXRF V2データセットを提案する。 XRF V2は、Wi-Fi信号、IMUセンサー(スマートフォン、スマートウォッチ、ヘッドフォン、スマートグラス)からのマルチモーダルデータと、同期されたビデオ記録を統合し、3つの異なる環境で16人のボランティアによる多様な屋内活動のコレクションを提供する。 talとアクションの要約に対処するために、XRFMambaニューラルネットワークを提案する。これは、トリミングされていない知覚配列の長期的依存関係を捕捉し、ActionFormerやWiFiTADのような最先端の手法よりも優れている。 我々は,XRF V2を,人間の行動ローカライゼーション,行動予測,ポーズ推定,マルチモーダル基礎モデル事前学習,合成データ生成などの研究を進めるための貴重な資源として想定する。

関連論文リスト

• Scaling Wearable Foundation Models [54.93979158708164]
  センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。 最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。 この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
  論文  参考訳（メタデータ） (2024-10-17T15:08:21Z)
• MaskFi: Unsupervised Learning of WiFi and Vision Representations for Multimodal Human Activity Recognition [32.89577715124546]
  我々は、未ラベルのビデオとWiFiのアクティビティデータのみをモデルトレーニングに活用する、新しい教師なしマルチモーダルHARソリューションMaskFiを提案する。 教師なしの学習手順から恩恵を受けるため、ネットワークは微調整のために少量の注釈付きデータしか必要とせず、より良いパフォーマンスで新しい環境に適応できる。
  論文  参考訳（メタデータ） (2024-02-29T15:27:55Z)
• MultiPLY: A Multisensory Object-Centric Embodied Large Language Model in 3D World [55.878173953175356]
  マルチ感覚を具現化した大規模言語モデルであるMultiPLYを提案する。 まず,500kデータからなる大規模マルチセンサインタラクションデータセットであるMultisensory Universeを収集する。 我々は,MultiPLYが多種多様な実施タスクを通じて,ベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-16T18:59:45Z)
• Aria-NeRF: Multimodal Egocentric View Synthesis [17.0554791846124]
  ニューラルラジアンス場(NeRFs)にインスパイアされた可変体積線トレーシングに基づく、エゴセントリックなデータから訓練されたリッチでマルチモーダルなシーンモデルの開発における研究の加速を目指す。 このデータセットは、RGB画像、アイトラッキングカメラの映像、マイクからの音声記録、気圧計による気圧測定、GPSによる位置座標、デュアル周波数IMUデータセット(1kHzと800Hz)の情報を含む、総合的なセンサデータの収集を提供する。 このデータセットで捉えた多様なデータモダリティと現実世界のコンテキストは、人間の行動に対する理解を深め、より没入的でインテリジェントな体験を可能にするための堅牢な基盤となる。
  論文  参考訳（メタデータ） (2023-11-11T01:56:35Z)
• MultiIoT: Benchmarking Machine Learning for the Internet of Things [70.74131118309967]
  次世代の機械学習システムは、物理的世界に対する知覚と相互作用に長けなければならない。 運動、熱、位置情報、深度、無線信号、ビデオ、オーディオからの知覚データは、物理環境の状態をモデル化するためにますます使われています。 既存の取り組みは、しばしば単一の感覚的モダリティまたは予測タスクに特化している。 本稿は、12のモダリティと8つの現実世界タスクから115万以上のサンプルを含む、これまでで最も拡張的で統一されたIoTベンチマークであるMultiIoTを提案する。
  論文  参考訳（メタデータ） (2023-11-10T18:13:08Z)
• Contactless Human Activity Recognition using Deep Learning with Flexible and Scalable Software Define Radio [1.3106429146573144]
  本研究では,環境センシングの新たな手法として,Wi-Fiチャネル状態情報(CSI)の利用について検討する。 これらの方法は、プライバシーを侵害する視覚ベースのシステムに必要な追加のハードウェアを避ける。 本研究では,Wi-Fi CSIベースのHARシステムを提案する。
  論文  参考訳（メタデータ） (2023-04-18T10:20:14Z)
• WiFi-based Spatiotemporal Human Action Perception [53.41825941088989]
  SNN(End-to-end WiFi signal Neural Network)は、Wi-Fiのみのセンシングを可能にするために提案されている。 特に、3D畳み込みモジュールはWiFi信号の時間的連続性を探索することができ、特徴自己保持モジュールは支配的な特徴を明示的に維持することができる。
  論文  参考訳（メタデータ） (2022-06-20T16:03:45Z)
• A Wireless-Vision Dataset for Privacy Preserving Human Activity Recognition [53.41825941088989]
  アクティビティ認識の堅牢性を改善するため,WiNN(WiFi-based and video-based neural network)が提案されている。 以上の結果から,WiViデータセットは一次需要を満足し,パイプライン内の3つのブランチはすべて,80%以上のアクティビティ認識精度を維持していることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T10:49:11Z)
• SensiX: A Platform for Collaborative Machine Learning on the Edge [69.1412199244903]
  センサデータとセンサモデルの間に留まるパーソナルエッジプラットフォームであるSensiXを紹介する。 動作および音声に基づくマルチデバイスセンシングシステムの開発において,その有効性を示す。 評価の結果,SensiXは3mWのオーバヘッドを犠牲にして,全体の精度が7～13%向上し,環境のダイナミクスが最大30%向上することがわかった。
  論文  参考訳（メタデータ） (2020-12-04T23:06:56Z)
• Sequential Weakly Labeled Multi-Activity Localization and Recognition on Wearable Sensors using Recurrent Attention Networks [13.64024154785943]
  本稿では,逐次的にラベル付けされたマルチアクティビティ認識と位置情報タスクを処理するために,RAN(Recurrent attention network)を提案する。 我々のRANモデルは、粗粒度シーケンシャルな弱いラベルからマルチアクティビティータイプを同時に推測することができる。 手動ラベリングの負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2020-04-13T04:57:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。