論文の概要: PhysMamba: State Space Duality Model for Remote Physiological Measurement
- arxiv url: http://arxiv.org/abs/2408.01077v2
- Date: Sat, 17 Aug 2024 12:52:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 01:39:16.070128
- Title: PhysMamba: State Space Duality Model for Remote Physiological Measurement
- Title(参考訳): PhysMamba:リモート生理計測のための状態空間双対モデル
- Authors: Zhixin Yan, Yan Zhong, Hongbin Xu, Wenjun Zhang, Lin Shu, Hongbin Xu, Wenxiong Kang,
- Abstract要約: RBFC(Remote Photoplethysmography)は、感情モニタリング、医療支援、対面スプーフィングなどの応用に用いられている。
制御された実験室の設定とは異なり、現実世界の環境は、しばしば動きの人工物やノイズを含む。
状態空間双対モデルであるPhysMambaを提案する。
この手法により、ネットワークはよりリッチでより代表的な特徴を学習し、ノイズのある条件下で堅牢性を高めることができる。
- 参考スコア(独自算出の注目度): 20.441281420017656
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote Photoplethysmography (rPPG) is a non-contact technique for extracting physiological signals from facial videos, used in applications like emotion monitoring, medical assistance, and anti-face spoofing. Unlike controlled laboratory settings, real-world environments often contain motion artifacts and noise, affecting the performance of existing rPPG methods. To address this, we propose PhysMamba, a dual-Pathway time-frequency interaction model via State Space Duality. This method allows the network to learn richer, more representative features, enhancing robustness in noisy conditions. To facilitate information exchange and feature complementation between the two pathways, we design an improved algorithm: Cross-Attention State Space Duality (CASSD). We conduct comparative experiments on the PURE, UBFC-rPPG, and MMPD datasets. Experimental results show that PhysMamba achieves state-of-the-art performance, particularly in complex environments, demonstrating its potential in practical remote physiological signal measurement applications.
- Abstract(参考訳): リモートフォトプラチスモグラフィー(Remote Photoplethysmography, RPPG)は、感情モニタリング、医療支援、反顔スプーフィングなどの応用に用いられる、顔ビデオから生理的信号を抽出する非接触技術である。
制御された実験室環境とは異なり、実世界の環境は、しばしば動きのアーティファクトやノイズを含んでおり、既存のrPPG法の性能に影響を及ぼす。
そこで本稿では,PhysMambaを提案する。
この手法により、ネットワークはよりリッチでより代表的な特徴を学習し、ノイズのある条件下で堅牢性を高めることができる。
2つの経路間の情報交換と特徴補間を容易にするため、我々は改良されたアルゴリズムであるCASSD(Cross-Attention State Space Duality)を設計した。
PURE,UBFC-rPPG,MMPDデータセットの比較実験を行った。
実験結果からPhysMambaは,特に複雑な環境での最先端性能を実現し,遠隔生理信号測定の実用化の可能性を示した。
関連論文リスト
- I2I-Mamba: Multi-modal medical image synthesis via selective state space modeling [8.909355958696414]
本稿では,医用画像合成のための新しい敵対モデルI2I-Mambaを提案する。
I2I-Mambaは、ターゲットモダリティ画像の合成における最先端CNNおよびトランスフォーマーベースの手法に対して優れた性能を提供する。
論文 参考訳(メタデータ) (2024-05-22T21:55:58Z) - Interpretable Spatio-Temporal Embedding for Brain Structural-Effective Network with Ordinary Differential Equation [56.34634121544929]
本研究では,まず動的因果モデルを用いて脳効果ネットワークを構築する。
次に、STE-ODE(Spatio-Temporal Embedding ODE)と呼ばれる解釈可能なグラフ学習フレームワークを導入する。
このフレームワークは、構造的および効果的なネットワーク間の動的相互作用を捉えることを目的とした、特異的に設計されたノード埋め込み層を含んでいる。
論文 参考訳(メタデータ) (2024-05-21T20:37:07Z) - MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。
このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。
また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
論文 参考訳(メタデータ) (2024-04-16T02:18:18Z) - PhysFormer++: Facial Video-based Physiological Measurement with SlowFast
Temporal Difference Transformer [76.40106756572644]
最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。
本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。
4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
論文 参考訳(メタデータ) (2023-02-07T15:56:03Z) - MedSegDiff-V2: Diffusion based Medical Image Segmentation with
Transformer [53.575573940055335]
我々は、MedSegDiff-V2と呼ばれるトランスフォーマーベースの拡散フレームワークを提案する。
画像の異なる20種類の画像分割作業において,その有効性を検証する。
論文 参考訳(メタデータ) (2023-01-19T03:42:36Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳(メタデータ) (2021-11-23T18:57:11Z) - Video-based Remote Physiological Measurement via Cross-verified Feature
Disentangling [121.50704279659253]
非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。
次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。
歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
論文 参考訳(メタデータ) (2020-07-16T09:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。