論文の概要: MS-rPPG: Multi-spectral State Space Model for Remote Photoplethysmography in Driver Monitoring Systems
- arxiv url: http://arxiv.org/abs/2606.21115v1
- Date: Fri, 19 Jun 2026 05:34:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 08:14:57.538905
- Title: MS-rPPG: Multi-spectral State Space Model for Remote Photoplethysmography in Driver Monitoring Systems
- Title(参考訳): MS-rPPG:ドライバモニタリングシステムにおけるリモート光胸腺撮影のためのマルチスペクトル状態空間モデル
- Authors: Jiho Choi, Sang Jun Lee,
- Abstract要約: 本研究では,遠隔心拍数推定に基づく運転者の健康モニタリングシステムについて検討する。
我々は、RGBと近赤外線(NIR)フェースビデオを組み合わせたマルチスペクトルフレームワークMS-rを導入し、困難な運転条件下でのr推定を緩和する。
車両の運転中に50人の参加者から記録されたMS-Driveという実世界のデータセットを収集した。
- 参考スコア(独自算出の注目度): 21.37687518779808
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Remote photoplethysmography (rPPG) is a camera-based technique for measuring physiological signals, particularly cardiac activity. From the remotely measured signals, heart rate can be estimated, which is crucial for health monitoring. In this study, we investigate a driver health monitoring system based on remote heart rate estimation. However, driving environments represent uncontrolled settings where videos are subject to varying illumination conditions and frequent head movements. We introduce MS-rPPG, a multi-spectral framework that combines RGB with near-infrared (NIR) face video to alleviate rPPG estimation under challenging driving conditions. To combine the complementary features from two spectral videos, we propose a cross-spectral linear modulation (CSLM) strategy based on frequency-domain analysis. Moreover, we introduce MS-Mamba, a novel state space model designed to effectively model long-range temporal dependencies while jointly capturing cross-channel interactions between multi-spectral features. We collected a real-world dataset called MS-Drive, which was recorded from 50 participants while driving the vehicle. The proposed method was evaluated on the MR-NIRP Car dataset and MS-Drive datasets. The experimental results indicate that MS-rPPG shows better robustness and heart rate estimation accuracy than previous methods, highlighting its promise for driver health monitoring. The codes are available at github.com/ziiho08/MS-rPPG.
- Abstract(参考訳): リモート光胸腺撮影(remote photoplethysmography, RPPG)は、生理的信号、特に心臓活動を測定するためのカメラベースの技術である。
遠隔計測信号から心拍数を推定することができ、これは健康モニタリングに不可欠である。
本研究では,遠隔心拍数推定に基づく運転者の健康モニタリングシステムについて検討する。
しかし、運転環境は、映像が様々な照明条件と頻繁な頭部運動の対象となる制御不能な環境を表す。
RGBと近赤外(NIR)フェースビデオを組み合わせたマルチスペクトルフレームワークであるMS-rPPGを導入し、困難な運転条件下でのrPPG推定を緩和する。
2つのスペクトルビデオの相補的特徴を組み合わせるために、周波数領域解析に基づくクロススペクトル線形変調(CSLM)戦略を提案する。
さらに,MS-Mambaは,マルチスペクトル特徴間のチャネル間相互作用を協調的に捉えながら,長距離時間依存性を効果的にモデル化するための新しい状態空間モデルである。
車両の運転中に50人の参加者から記録されたMS-Driveという実世界のデータセットを収集した。
提案手法はMR-NIRP CarデータセットとMS-Driveデータセットを用いて評価した。
実験の結果,MS-rPPGは従来の方法よりも頑健さと心拍数推定精度が優れており,運転者の健康モニタリングが期待できることがわかった。
コードはgithub.com/ziiho08/MS-rPPGで入手できる。
関連論文リスト
- MVRD-Bench: Multi-View Learning and Benchmarking for Dynamic Remote Photoplethysmography under Occlusion [38.964013784587436]
リモート光胸腺撮影(Remote Photoplethysmography, CFA)は、顔画像の微妙な肌の色変化を分析し、生理的信号を推定するノンコンタクト技術である。
既存のrメソッドは、静的およびシングルビューの顔ビデオに依存するため、顔の動きやシナリオ下での性能劣化に遭遇することが多い。
本研究は、多視点顔ビデオにおけるr測定における運動誘発リズム閉塞問題に対処することに焦点を当てる。
論文 参考訳(メタデータ) (2026-03-24T06:01:56Z) - PhysNeXt: Next-Generation Dual-Branch Structured Attention Fusion Network for Remote Photoplethysmography Measurement [50.524262997433546]
ハーモグラフィーは、心臓の脈動によって引き起こされる顔の皮膚の色変化を分析し、心拍数やその他の重要な兆候を測定することができる。
現在の手法は主に生のビデオからエンド・ツー・エンドのモデリング、または微妙な心拍マップ(ST)表現に基づいている。
本稿では,ビデオフレームとST表現を併用したデュアルインプットディープラーニングフレームワークであるPhysMapXtを提案する。
論文 参考訳(メタデータ) (2026-03-20T08:37:02Z) - TYrPPG: Uncomplicated and Enhanced Learning Capability rPPG for Remote Heart Rate Estimation [51.56484100374058]
本稿では,効率的なRGBビデオのための革新的なビデオ理解ブロック(GVB)を提案する。
Mamの構造に基づいて、2D-CNNと3D-CNNを統合し、分析のためのビデオ理解を強化する。
実験により、我々のTYrは一般的に使用されるデータセットで最先端のパフォーマンスを達成できることが示された。
論文 参考訳(メタデータ) (2025-11-08T03:46:58Z) - Tracking the Unstable: Appearance-Guided Motion Modeling for Robust Multi-Object Tracking in UAV-Captured Videos [58.156141601478794]
マルチオブジェクトトラッキング(UAVT)は、ビデオのフレーム間で一貫したアイデンティティを維持しながら、複数のオブジェクトを追跡することを目的としている。
既存の手法は、通常、動作キューと外観を別々にモデル化し、それらの相互作用を見渡して、最適下追跡性能をもたらす。
本稿では、AMC行列とMTCモジュールの2つの主要コンポーネントを通して、外観と動きの手がかりを利用するAMOTを提案する。
論文 参考訳(メタデータ) (2025-08-03T12:06:47Z) - Time-Series U-Net with Recurrence for Noise-Robust Imaging Photoplethysmography [14.749406169315554]
Photoplethysmography systemは、顔とランドマークの検出、時系列抽出、パルス信号/パルスレート推定の3つのモジュールで構成されている。
TURNIPと呼ばれるパルス信号推定モジュールは、基礎となるパルス信号波形を忠実に再構築することを可能にする。
我々のアルゴリズムは、特殊なセンサーや皮膚との接触を必要とせず、信頼性の高い心拍数推定を提供する。
論文 参考訳(メタデータ) (2025-03-21T17:52:33Z) - Leveraging Driver Field-of-View for Multimodal Ego-Trajectory Prediction [69.29802752614677]
RouteFormerは、GPSデータ、環境コンテキスト、運転者の視野を組み合わせた新しいエゴ軌道予測ネットワークである。
データ不足に対処し、多様性を高めるために、同期運転場と視線データに富んだ都市運転シナリオのデータセットであるGEMを導入する。
論文 参考訳(メタデータ) (2023-12-13T23:06:30Z) - Facial Video-based Remote Physiological Measurement via Self-supervised
Learning [9.99375728024877]
本稿では,映像からr信号を推定する新たなフレームワークを提案する。
負のサンプルは、非線形信号周波数変換を行う学習可能な周波数モジュールを介して生成される。
次に、強化サンプルからr信号を推定するために、局所的なrエキスパートアグリゲーションモジュールを導入する。
異なる顔領域からの相補的な脈動情報を符号化し、それらを1つのr予測に集約する。
論文 参考訳(メタデータ) (2022-10-27T13:03:23Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳(メタデータ) (2021-11-23T18:57:11Z) - Video-based Remote Physiological Measurement via Cross-verified Feature
Disentangling [121.50704279659253]
非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。
次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。
歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
論文 参考訳(メタデータ) (2020-07-16T09:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。