論文の概要: PhysMamba: Leveraging Dual-Stream Cross-Attention SSD for Remote Physiological Measurement

• arxiv url: http://arxiv.org/abs/2408.01077v1
• Date: Fri, 2 Aug 2024 07:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 14:07:18.104557
• Title: PhysMamba: Leveraging Dual-Stream Cross-Attention SSD for Remote Physiological Measurement
• Title（参考訳）: PhysMamba: リモート生理計測のためのデュアルストリームクロスアテンションSSDの活用
• Authors: Zhixin Yan, Yan Zhong, Wenjun Zhang, Lin Shu, Hongbin Xu, Wenxiong Kang,
• Abstract要約: リモート光合成(Remote Photoplethys)は、顔画像から生理的信号を抽出する非接触技術である。 PhysMambaは、Mambaをベースとした双方向の時間周波数対話モデルである。 PhysMambaは様々なシナリオで最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 19.34768187398188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote Photoplethysmography (rPPG) is a non-contact technique for extracting physiological signals from facial videos, used in applications like emotion monitoring, medical assistance, and anti-face spoofing. Unlike controlled laboratory settings, real-world environments often contain motion artifacts and noise, affecting the performance of existing methods. To address this, we propose PhysMamba, a dual-stream time-frequency interactive model based on Mamba. PhysMamba integrates the state-of-the-art Mamba-2 model and employs a dual-stream architecture to learn diverse rPPG features, enhancing robustness in noisy conditions. Additionally, we designed the Cross-Attention State Space Duality (CASSD) module to improve information exchange and feature complementarity between the two streams. We validated PhysMamba using PURE, UBFC-rPPG and MMPD. Experimental results show that PhysMamba achieves state-of-the-art performance across various scenarios, particularly in complex environments, demonstrating its potential in practical remote heart rate monitoring applications.
• Abstract（参考訳）: リモートフォトプラチスモグラフィー(Remote Photoplethysmography, RPPG)は、感情モニタリング、医療支援、反顔スプーフィングなどの応用に用いられる、顔ビデオから生理的信号を抽出する非接触技術である。 制御された実験室環境とは異なり、現実の環境は、しばしば動きのアーティファクトやノイズを含み、既存の手法の性能に影響する。 そこで本研究では,Mambaをベースとした双方向時間周波数対話モデルであるPhysMambaを提案する。 PhysMambaは最先端のMamba-2モデルを統合し、マルチストリームアーキテクチャを用いて様々なrPPG特徴を学習し、ノイズ条件下で堅牢性を向上させる。 さらに、情報交換を改善し、2つのストリーム間の相補性を特徴とするCASSDモジュールを設計した。 PURE,UBFC-rPPG,MMPDを用いてPhysMambaを検証する。 実験の結果,PhysMambaは様々なシナリオ,特に複雑な環境での最先端のパフォーマンスを実現し,遠隔心拍モニタリングの実用化の可能性を示した。

関連論文リスト

• Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition [18.65975882665568]
  機能近赤外分光法(NIRS)や脳波法(EEG)などの生理的信号に基づく抑うつは大きな進歩を遂げている。 本稿では,抑うつ認識のためのマルチスケールコントラストを用いたアーキテクチャを用いたマルチモーダル生理学的信号表現学習フレームワークを提案する。 刺激タスクに関連する意味表現の学習を強化するために,意味コントラストモジュールを提案する。
  論文  参考訳（メタデータ） (2024-06-22T09:28:02Z)
• Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
  本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。 次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。 このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
  論文  参考訳（メタデータ） (2024-05-21T20:37:07Z)
• MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
  筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
  論文  参考訳（メタデータ） (2024-04-16T02:18:18Z)
• Real-Time Model-Based Quantitative Ultrasound and Radar [65.268245109828]
  本稿では,波動伝搬の物理モデルに基づくニューラルネットワークを提案し,受信信号と物理特性の関係を定義した。 我々のネットワークは、複雑で現実的なシナリオのために、1秒未満で複数の物理的特性を再構築することができる。
  論文  参考訳（メタデータ） (2024-02-16T09:09:16Z)
• Dual-path TokenLearner for Remote Photoplethysmography-based Physiological Measurement with Facial Videos [24.785755814666086]
  本稿では,学習可能なトークンの概念を利用して,ビデオのグローバルな視点から空間的・時間的情報的コンテキストを統合する。 TTL(Temporal TokenLearner)は、頭部運動などの時間的乱れを排除し、心拍の準周期パターンを推定するように設計されている。
  論文  参考訳（メタデータ） (2023-08-15T13:45:45Z)
• PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer [76.40106756572644]
  最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。 本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。 4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T15:56:03Z)
• DRNet: Decomposition and Reconstruction Network for Remote Physiological Measurement [39.73408626273354]
  既存の方法は一般に2つのグループに分けられる。 1つ目は、顔ビデオから微妙な音量パルス(BVP)信号を抽出することに焦点を当てているが、顔ビデオコンテンツを支配するノイズを明示的にモデル化することはめったにない。 第二に、ノイズの多いデータを直接モデリングすることに焦点を当てており、これらの厳密なランダムノイズの規則性の欠如により、最適以下の性能が得られる。
  論文  参考訳（メタデータ） (2022-06-12T07:40:10Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling [121.50704279659253]
  非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。 次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。 歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
  論文  参考訳（メタデータ） (2020-07-16T09:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。