論文の概要: PhysMamba: Leveraging Dual-Stream Cross-Attention SSD for Remote Physiological Measurement

• arxiv url: http://arxiv.org/abs/2408.01077v1
• Date: Fri, 2 Aug 2024 07:52:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 14:07:18.104557
• Title: PhysMamba: Leveraging Dual-Stream Cross-Attention SSD for Remote Physiological Measurement
• Title（参考訳）: PhysMamba: リモート生理計測のためのデュアルストリームクロスアテンションSSDの活用
• Authors: Zhixin Yan, Yan Zhong, Wenjun Zhang, Lin Shu, Hongbin Xu, Wenxiong Kang,
• Abstract要約: リモート光合成(Remote Photoplethys)は、顔画像から生理的信号を抽出する非接触技術である。 PhysMambaは、Mambaをベースとした双方向の時間周波数対話モデルである。 PhysMambaは様々なシナリオで最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 19.34768187398188
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote Photoplethysmography (rPPG) is a non-contact technique for extracting physiological signals from facial videos, used in applications like emotion monitoring, medical assistance, and anti-face spoofing. Unlike controlled laboratory settings, real-world environments often contain motion artifacts and noise, affecting the performance of existing methods. To address this, we propose PhysMamba, a dual-stream time-frequency interactive model based on Mamba. PhysMamba integrates the state-of-the-art Mamba-2 model and employs a dual-stream architecture to learn diverse rPPG features, enhancing robustness in noisy conditions. Additionally, we designed the Cross-Attention State Space Duality (CASSD) module to improve information exchange and feature complementarity between the two streams. We validated PhysMamba using PURE, UBFC-rPPG and MMPD. Experimental results show that PhysMamba achieves state-of-the-art performance across various scenarios, particularly in complex environments, demonstrating its potential in practical remote heart rate monitoring applications.
• Abstract（参考訳）: リモートフォトプラチスモグラフィー(Remote Photoplethysmography, RPPG)は、感情モニタリング、医療支援、反顔スプーフィングなどの応用に用いられる、顔ビデオから生理的信号を抽出する非接触技術である。 制御された実験室環境とは異なり、現実の環境は、しばしば動きのアーティファクトやノイズを含み、既存の手法の性能に影響する。 そこで本研究では,Mambaをベースとした双方向時間周波数対話モデルであるPhysMambaを提案する。 PhysMambaは最先端のMamba-2モデルを統合し、マルチストリームアーキテクチャを用いて様々なrPPG特徴を学習し、ノイズ条件下で堅牢性を向上させる。 さらに、情報交換を改善し、2つのストリーム間の相補性を特徴とするCASSDモジュールを設計した。 PURE,UBFC-rPPG,MMPDを用いてPhysMambaを検証する。 実験の結果,PhysMambaは様々なシナリオ,特に複雑な環境での最先端のパフォーマンスを実現し,遠隔心拍モニタリングの実用化の可能性を示した。

関連論文リスト

• SkelMamba: A State Space Model for Efficient Skeleton Action Recognition of Neurological Disorders [14.304356695180005]
  骨格に基づく人間行動認識のための新しい状態空間モデル(SSM)を提案する。 本モデルでは,複数部位にわたる局所的な関節相互作用と大域的な運動パターンを捉える。 この歩行認識分解は、診断において重要な微妙な動きパターンを識別する能力を高める。
  論文  参考訳（メタデータ） (2024-11-29T08:43:52Z)
• MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
  筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。 このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。 また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
  論文  参考訳（メタデータ） (2024-04-16T02:18:18Z)
• AI-Aristotle: A Physics-Informed framework for Systems Biology Gray-Box Identification [1.8434042562191815]
  本稿では,システム生物学におけるパラメータ推定と物理識別の欠如 (グレーボックス) のための新しい枠組みを提案する。 提案するフレームワーク - AI-Aristotle は,EXtreme Theory of Functional Connection (X-TFC) ドメイン分割と物理インフォームドニューラルネットワーク (PINN) を組み合わせたものだ。 システム生物学における2つのベンチマーク問題に基づいて,AI-Aristotleの精度,速度,柔軟性,堅牢性を検証した。
  論文  参考訳（メタデータ） (2023-09-29T14:45:51Z)
• Physics-informed State-space Neural Networks for Transport Phenomena [0.0]
  本研究は物理インフォームドステートスペースニューラルネットワークモデル(PSM)を紹介する。 PSMは、自律システムにおけるリアルタイム最適化、柔軟性、フォールトトレランスを達成するための新しいソリューションである。 PSMはデジタルツインの基盤として機能し、物理的システムのデジタル表現を常に更新する。
  論文  参考訳（メタデータ） (2023-09-21T16:14:36Z)
• PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer [76.40106756572644]
  最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。 本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。 4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T15:56:03Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Non-contact Pain Recognition from Video Sequences with Remote Physiological Measurements Prediction [53.03469655641418]
  痛み認識のための非接触方式で外観変化と生理的手がかりの両方を符号化する新しいマルチタスク学習フレームワークを提案する。 我々は、一般に利用可能な痛みデータベース上で、非接触痛認識の最先端性能を確立する。
  論文  参考訳（メタデータ） (2021-05-18T20:47:45Z)
• Data-driven generation of plausible tissue geometries for realistic photoacoustic image synthesis [53.65837038435433]
  光音響トモグラフィ(pat)は形態的および機能的組織特性を回復する可能性がある。 我々は,PATデータシミュレーションの新たなアプローチを提案し,これを「シミュレーションの学習」と呼ぶ。 我々は、意味的注釈付き医療画像データに基づいて訓練されたGAN(Generative Adversarial Networks)の概念を活用して、可塑性組織ジオメトリを生成する。
  論文  参考訳（メタデータ） (2021-03-29T11:30:18Z)
• Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling [121.50704279659253]
  非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。 次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。 歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
  論文  参考訳（メタデータ） (2020-07-16T09:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。