論文の概要: MultiFormer: A Multi-Person Pose Estimation System Based on CSI and Attention Mechanism
- arxiv url: http://arxiv.org/abs/2505.22555v1
- Date: Wed, 28 May 2025 16:36:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 17:35:50.736567
- Title: MultiFormer: A Multi-Person Pose Estimation System Based on CSI and Attention Mechanism
- Title(参考訳): MultiFormer: CSIとアテンション機構に基づくマルチパーソンポーズ推定システム
- Authors: Yanyi Qu, Haoyang Ma, Wenhui Xiong,
- Abstract要約: チャネル状態情報(CSI)に基づく人間のポーズ推定は、非侵襲的で正確な人間の活動監視のための有望なアプローチとして浮上している。
本稿では,CSIによる人間のポーズを正確に推定する無線センシングシステムであるMultiFormerを提案する。
- 参考スコア(独自算出の注目度): 0.7373617024876725
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human pose estimation based on Channel State Information (CSI) has emerged as a promising approach for non-intrusive and precise human activity monitoring, yet faces challenges including accurate multi-person pose recognition and effective CSI feature learning. This paper presents MultiFormer, a wireless sensing system that accurately estimates human pose through CSI. The proposed system adopts a Transformer based time-frequency dual-token feature extractor with multi-head self-attention. This feature extractor is able to model inter-subcarrier correlations and temporal dependencies of the CSI. The extracted CSI features and the pose probability heatmaps are then fused by Multi-Stage Feature Fusion Network (MSFN) to enforce the anatomical constraints. Extensive experiments conducted on on the public MM-Fi dataset and our self-collected dataset show that the MultiFormer achieves higher accuracy over state-of-the-art approaches, especially for high-mobility keypoints (wrists, elbows) that are particularly difficult for previous methods to accurately estimate.
- Abstract(参考訳): チャネル状態情報(CSI)に基づく人間のポーズ推定は、非侵襲的で正確な人間の活動監視のための有望なアプローチとして現れてきたが、正確なマルチパーソンのポーズ認識や効果的なCSI特徴学習といった課題に直面している。
本稿では,CSIによる人間のポーズを正確に推定する無線センシングシステムであるMultiFormerを提案する。
提案システムでは,マルチヘッド自己注意型トランスフォーマーを用いた時間周波数デュアルトークン特徴抽出器を採用している。
この特徴抽出器は、CSIのサブキャリア間相関と時間依存性をモデル化することができる。
抽出したCSI特徴とポーズ確率のヒートマップは、Multi-Stage Feature Fusion Network (MSFN)によって融合され、解剖学的制約を強制する。
公開MM-Fiデータセットと自己収集データセットを用いて行った大規模な実験により、MultiFormerは最先端のアプローチよりも高い精度を達成していることが明らかとなった。
関連論文リスト
- Transforming Multidimensional Time Series into Interpretable Event Sequences for Advanced Data Mining [5.2863523790908955]
本稿では,多次元時系列解析における従来の手法の限界に対処する新しい表現モデルを提案する。
提案するフレームワークは,ITインフラの監視と最適化,継続的な患者モニタリングによる診断,トレンド分析,インターネットビジネスによるユーザ行動の追跡,予測など,さまざまな分野のアプリケーションに対して大きな可能性を秘めている。
論文 参考訳(メタデータ) (2024-09-22T06:27:07Z) - Advancing Automated Deception Detection: A Multimodal Approach to Feature Extraction and Analysis [0.0]
本研究は, 偽造検出モデルの精度を高めるために, 様々な特徴の抽出と組み合わせに焦点を当てる。
視覚、音声、テキストデータから特徴を体系的に抽出し、異なる組み合わせの実験を行うことで、印象的な99%の精度を達成できるロバストモデルを開発した。
論文 参考訳(メタデータ) (2024-07-08T14:59:10Z) - Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。
提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
論文 参考訳(メタデータ) (2024-05-29T06:09:34Z) - Enhancing Apparent Personality Trait Analysis with Cross-Modal Embeddings [0.5461938536945723]
本稿では,ショートビデオ記録で訓練した人格特性予測のために,シームズ拡張を用いたマルチモーダルディープニューラルネットワークを提案する。
分析されたデータセットの高度に集中したターゲット分布のため、第3桁の変更は関連している。
論文 参考訳(メタデータ) (2024-05-06T20:51:28Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳(メタデータ) (2024-04-13T13:39:26Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - MMNet: Multi-Collaboration and Multi-Supervision Network for Sequential
Deepfake Detection [81.59191603867586]
シークエンシャルディープフェイク検出は、回復のための正しいシーケンスで偽の顔領域を特定することを目的としている。
偽画像の復元には、逆変換を実装するための操作モデルの知識が必要である。
顔画像の空間スケールや逐次順列化を扱うマルチコラボレーション・マルチスーパービジョンネットワーク(MMNet)を提案する。
論文 参考訳(メタデータ) (2023-07-06T02:32:08Z) - Time-Selective RNN for Device-Free Multi-Room Human Presence Detection
Using WiFi CSI [9.927073290898848]
デバイスなしの人間の存在検知は、ホームオートメーション、セキュリティ、ヘルスケアなど、さまざまなアプリケーションにとって重要な技術である。
近年,商用WiFiアクセスポイント(AP)から抽出した無線チャネル状態情報を用いて,詳細なチャネル特性について検討している。
本稿では,時間選択型条件付き二重特徴抽出再帰ネットワークを用いたマルチルームシナリオのためのデバイスフリーな人間の存在検知システムを提案する。
論文 参考訳(メタデータ) (2023-04-25T19:21:47Z) - Multimodal Adaptive Fusion of Face and Gait Features using Keyless
attention based Deep Neural Networks for Human Identification [67.64124512185087]
歩行のような軟式生体認証は、人物認識や再識別といった監視作業において顔に広く使われている。
本稿では,キーレス注意深層ニューラルネットワークを活用することで,歩行と顔のバイオメトリック・キューを動的に組み込むための適応型マルチバイオメトリック・フュージョン戦略を提案する。
論文 参考訳(メタデータ) (2023-03-24T05:28:35Z) - In-Bed Human Pose Estimation from Unseen and Privacy-Preserving Image
Domains [22.92165116962952]
ベッド内の人間の姿勢推定は、医療状況の評価において潜在的な価値を持つ重要な健康関連指標を提供する。
本稿では,マルチモーダル条件変分オートエンコーダ(MC-VAE)を提案する。
本研究は, 身体位置が利用可能なモダリティから効果的に認識できることを示し, ベースラインモデルと同等の結果が得られることを示した。
論文 参考訳(メタデータ) (2021-11-30T04:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。