論文の概要: CardiacMamba: A Multimodal RGB-RF Fusion Framework with State Space Models for Remote Physiological Measurement

• arxiv url: http://arxiv.org/abs/2502.13624v1
• Date: Wed, 19 Feb 2025 11:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:59:50.629126
• Title: CardiacMamba: A Multimodal RGB-RF Fusion Framework with State Space Models for Remote Physiological Measurement
• Title（参考訳）: CardiacMamba: リモート生理計測のための状態空間モデルを用いた多モードRGB-RF核融合フレームワーク
• Authors: Zheng Wu, Yiping Xie, Bo Zhao, Jiguang He, Fei Luo, Ning Deng, Zitong Yu,
• Abstract要約: 遠隔光麻痺(rPl)による心拍数(HR)推定は、健康モニタリングに非侵襲的な解決策を提供する。 従来の単一モダリティアプローチ(RGBまたはRF)は、照明のバリエーション、モーションアーティファクト、皮膚のトーンバイアスによるロバストさと精度のバランスをとる上で、課題に直面している。 両モードの相補的強度を利用するマルチモーダルRGB-RF融合フレームワークであるCardiacMambaを提案する。
• 参考スコア（独自算出の注目度）: 24.511384674989223
• License:
• Abstract: Heart rate (HR) estimation via remote photoplethysmography (rPPG) offers a non-invasive solution for health monitoring. However, traditional single-modality approaches (RGB or Radio Frequency (RF)) face challenges in balancing robustness and accuracy due to lighting variations, motion artifacts, and skin tone bias. In this paper, we propose CardiacMamba, a multimodal RGB-RF fusion framework that leverages the complementary strengths of both modalities. It introduces the Temporal Difference Mamba Module (TDMM) to capture dynamic changes in RF signals using timing differences between frames, enhancing the extraction of local and global features. Additionally, CardiacMamba employs a Bidirectional SSM for cross-modal alignment and a Channel-wise Fast Fourier Transform (CFFT) to effectively capture and refine the frequency domain characteristics of RGB and RF signals, ultimately improving heart rate estimation accuracy and periodicity detection. Extensive experiments on the EquiPleth dataset demonstrate state-of-the-art performance, achieving marked improvements in accuracy and robustness. CardiacMamba significantly mitigates skin tone bias, reducing performance disparities across demographic groups, and maintains resilience under missing-modality scenarios. By addressing critical challenges in fairness, adaptability, and precision, the framework advances rPPG technology toward reliable real-world deployment in healthcare. The codes are available at: https://github.com/WuZheng42/CardiacMamba.
• Abstract（参考訳）: RPPG(remote Photoplethysmography)による心拍数推定は、健康モニタリングに非侵襲的な解決策を提供する。 しかし、従来の単一モードアプローチ(RGBまたはRF)は、照明のバリエーション、モーションアーティファクト、皮膚のトーンバイアスによるロバストさと精度のバランスをとる上で困難に直面している。 本稿では,両モードの相補的強度を利用するマルチモーダルRGB-RF融合フレームワークであるCardiacMambaを提案する。 時間差マンバモジュール(TDMM)を導入し、フレーム間の時間差を利用してRF信号の動的変化を捉え、局所的特徴と大域的特徴の抽出を強化する。 さらに、CardiacMambaは双方向SSMを用いてクロスモーダルアライメントを行い、Channel-wise Fast Fourier Transform (CFFT)を用いてRGBおよびRF信号の周波数領域特性を効果的に捕捉し、最終的に心拍推定精度と周期性検出を改善する。 EquiPlethデータセットに関する大規模な実験は、最先端のパフォーマンスを示し、精度と堅牢性を著しく改善した。 CardiacMambaは、皮膚のトーンバイアスを著しく軽減し、人口集団間のパフォーマンス格差を低減し、欠落したモダリティシナリオの下でレジリエンスを維持する。 公平性、適応性、正確性において重要な課題に対処することで、このフレームワークはrPPG技術を医療における信頼性の高い現実的な展開に向けて前進させる。 コードは、https://github.com/WuZheng42/CardiacMamba.comで入手できる。

関連論文リスト

• Deep Multi-contrast Cardiac MRI Reconstruction via vSHARP with Auxiliary Refinement Network [7.043932618116216]
  本稿では,2次元動的マルチコントラスト,マルチスキーム,マルチアクセラレーションMRIの深層学習に基づく再構成手法を提案する。 提案手法は,半2乗変数分割とADMM最適化を利用した最先端のvSHARPモデルを統合する。
  論文  参考訳（メタデータ） (2024-11-02T15:59:35Z)
• Accelerated Multi-Contrast MRI Reconstruction via Frequency and Spatial Mutual Learning [50.74383395813782]
  本稿では,周波数・空間相互学習ネットワーク(FSMNet)を提案する。 提案したFSMNetは, 加速度係数の異なるマルチコントラストMR再構成タスクに対して, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-21T12:02:47Z)
• FreqINR: Frequency Consistency for Implicit Neural Representation with Adaptive DCT Frequency Loss [5.349799154834945]
  本稿では、新しい任意スケール超解像法であるFreqINR(FreqINR)について述べる。 トレーニングでは,適応離散コサイン変換周波数損失(adaptive Discrete Cosine Transform Frequency Loss,ADFL)を用いて,HR画像と地絡画像の周波数ギャップを最小化する。 推論の際には,低分解能(LR)画像と地軸画像のスペクトルコヒーレンスを維持するために受容場を拡張した。
  論文  参考訳（メタデータ） (2024-08-25T03:53:17Z)
• LaMoD: Latent Motion Diffusion Model For Myocardial Strain Generation [5.377722774297911]
  本稿では,標準CMRビデオから高精度なDENSE動作を予測するため,新しいラミネートモーション拡散モデル(LaMoD)を提案する。 実験の結果,提案手法であるLaMoDは標準CMR画像の動作解析の精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2024-07-02T12:54:32Z)
• Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
  我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。 より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。 我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
  論文  参考訳（メタデータ） (2024-05-08T11:09:24Z)
• TAI-GAN: A Temporally and Anatomically Informed Generative Adversarial Network for early-to-late frame conversion in dynamic cardiac PET inter-frame motion correction [15.380659401728735]
  本稿では,TAI-GAN(Temporally and Anatomically Informed Generative Adrial Network)と呼ばれる新しい手法を提案する。 提案手法は臨床用82-Rb PETデータセットを用いて評価し, この結果から, TAI-GANは実際の参照フレームに匹敵する高画質の変換早期フレームを生成できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-14T20:39:07Z)
• Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification [79.9402521412239]
  本稿では、周波数領域から見たモダリティの相違を低減するために、新しい周波数領域モダリティ不変特徴学習フレームワーク(FDMNet)を提案する。 我々のフレームワークでは、インスタンス適応振幅フィルタ(IAF)とPhrase-Preserving Normalization(PPNorm)という、2つの新しいモジュールを導入している。
  論文  参考訳（メタデータ） (2024-01-03T17:11:27Z)
• On Sensitivity and Robustness of Normalization Schemes to Input Distribution Shifts in Automatic MR Image Diagnosis [58.634791552376235]
  深層学習(DL)モデルは、再構成画像を入力として、複数の疾患の診断において最先端のパフォーマンスを達成した。 DLモデルは、トレーニングとテストフェーズ間の入力データ分布の変化につながるため、さまざまなアーティファクトに敏感である。 本稿では,グループ正規化やレイヤ正規化といった他の正規化手法を用いて,画像のさまざまなアーチファクトに対して,モデル性能にロバスト性を注入することを提案する。
  論文  参考訳（メタデータ） (2023-06-23T03:09:03Z)
• Diffusion Probabilistic Model Made Slim [128.2227518929644]
  軽量画像合成のためのスリム拡散確率モデル(DPM)のカスタマイズ設計を提案する。 一連の条件および非条件画像生成タスクにおける遅延拡散モデルと比較して,計算複雑性を8-18倍に削減する。
  論文  参考訳（メタデータ） (2022-11-27T16:27:28Z)
• Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling [121.50704279659253]
  非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。 次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。 歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
  論文  参考訳（メタデータ） (2020-07-16T09:39:17Z)
• Efficient and Phase-aware Video Super-resolution for Cardiac MRI [23.5319835123499]
  我々は,CMRビデオの超解像問題を解決するために,新しいエンドツーエンドのトレーニング可能なネットワークを提案する。 心的知識をモデルに組み込んで時間的情報の利用を支援する。
  論文  参考訳（メタデータ） (2020-05-21T13:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。