論文の概要: Learning Motion-Robust Remote Photoplethysmography through Arbitrary Resolution Videos

• arxiv url: http://arxiv.org/abs/2211.16922v1
• Date: Wed, 30 Nov 2022 11:50:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 17:16:38.982029
• Title: Learning Motion-Robust Remote Photoplethysmography through Arbitrary Resolution Videos
• Title（参考訳）: 任意解像度映像による運動ロバストリモートフォトプレチモグラフィの学習
• Authors: Jianwei Li, Zitong Yu, Jingang Shi
• Abstract要約: 実世界の長期健康モニタリングのシナリオでは、参加者と頭の動きの距離は時間によって異なり、その結果、不正確なrの測定結果となる。 本稿では,カメラと参加者の一定距離を設計した従来のRモデルと異なり,PFE (physiological signal feature extract block) とTFA (temporal face alignment block) の2つのプラグ・アンド・プレイブロックを提案する。
• 参考スコア（独自算出の注目度）: 31.512551653273373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote photoplethysmography (rPPG) enables non-contact heart rate (HR) estimation from facial videos which gives significant convenience compared with traditional contact-based measurements. In the real-world long-term health monitoring scenario, the distance of the participants and their head movements usually vary by time, resulting in the inaccurate rPPG measurement due to the varying face resolution and complex motion artifacts. Different from the previous rPPG models designed for a constant distance between camera and participants, in this paper, we propose two plug-and-play blocks (i.e., physiological signal feature extraction block (PFE) and temporal face alignment block (TFA)) to alleviate the degradation of changing distance and head motion. On one side, guided with representative-area information, PFE adaptively encodes the arbitrary resolution facial frames to the fixed-resolution facial structure features. On the other side, leveraging the estimated optical flow, TFA is able to counteract the rPPG signal confusion caused by the head movement thus benefit the motion-robust rPPG signal recovery. Besides, we also train the model with a cross-resolution constraint using a two-stream dual-resolution framework, which further helps PFE learn resolution-robust facial rPPG features. Extensive experiments on three benchmark datasets (UBFC-rPPG, COHFACE and PURE) demonstrate the superior performance of the proposed method. One highlight is that with PFE and TFA, the off-the-shelf spatio-temporal rPPG models can predict more robust rPPG signals under both varying face resolution and severe head movement scenarios. The codes are available at https://github.com/LJW-GIT/Arbitrary_Resolution_rPPG.
• Abstract（参考訳）: 遠隔プラチスモグラフィー(rPPG)は,非接触型心拍数(HR)を顔画像から推定できる。 実世界の長期健康モニタリングのシナリオでは、参加者と頭部の運動距離は通常時間によって異なり、顔の解像度や複雑な運動人工物による不正確なrPPG測定が行われる。 本稿では,カメラと参加者の一定距離を想定した従来のrppgモデルと異なる2つのプラグ・アンド・プレイブロック(つまり,生理的信号特徴抽出ブロック(pfe)と時間的顔アライメントブロック(tfa))を提案する。 一方、代表領域情報で案内されたPFEは、任意の解像度の顔フレームを固定解像度の顔構造特徴に適応的に符号化する。 一方、推定光流を利用して、TFAは頭部の動きによって引き起こされるrPPG信号の混乱を防止できるので、動きを損なうrPPG信号の回復に役立てることができる。 さらに,2ストリームのデュアルレゾリューションフレームワークを使用して,クロスレゾリューション制約でモデルをトレーニングすることで,pfeによるレゾリューションロバスト顔rppg機能の学習をさらに支援する。 3つのベンチマークデータセット(UBFC-rPPG, COHFACE, PURE)の大規模な実験により,提案手法の優れた性能が示された。 PFEとTFAでは、オフザシェルフ時空間rPPGモデルにより、顔の解像度と重度の頭部運動のシナリオの両方において、より堅牢なrPPG信号を予測できる。 コードはhttps://github.com/LJW-GIT/Arbitrary_Resolution_rPPGで公開されている。

関連論文リスト

• Dual-path TokenLearner for Remote Photoplethysmography-based Physiological Measurement with Facial Videos [24.785755814666086]
  本稿では,学習可能なトークンの概念を利用して,ビデオのグローバルな視点から空間的・時間的情報的コンテキストを統合する。 TTL(Temporal TokenLearner)は、頭部運動などの時間的乱れを排除し、心拍の準周期パターンを推定するように設計されている。
  論文  参考訳（メタデータ） (2023-08-15T13:45:45Z)
• Mask Attack Detection Using Vascular-weighted Motion-robust rPPG Signals [21.884783786547782]
  R-based face anti-spoofing method は、しばしばビデオシーケンスの不安定な顔アライメントによる性能劣化に悩まされる。 SIFTキーポイントと顔ランドマークの両方を用いて, 顔の鮮明かつ正確に画素レベルで整列するランドマークアンコール顔縫合法を提案する。 Gated Recurrent Unit (GRU) を備えた軽量なEfficientNetは、分類のための空間的特徴と時間的特徴の両方を抽出するように設計されている。
  論文  参考訳（メタデータ） (2023-05-25T11:22:17Z)
• PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer [76.40106756572644]
  最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。 本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。 4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T15:56:03Z)
• Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues [81.15465149555864]
  視覚的外観と生理的rcuesを用いた第1回関節スプーフィングおよび検出ベンチマークを作成した。 r周期性判別を強化するために,顔の強信号マップと連続ウェーブレットを入力として変換した2分岐生理ネットワークを設計した。
  論文  参考訳（メタデータ） (2022-08-10T15:41:48Z)
• Identifying Rhythmic Patterns for Face Forgery Detection and Categorization [46.21354355137544]
  本研究では, PPG信号に対する空間時間フィルタリングネットワーク (STFNet) と, PPG信号の制約と相互作用のための空間時間インタラクションネットワーク (STINet) からなる顔偽造検出と分類のためのフレームワークを提案する。 フォージェリーメソッドの生成に関する知見を得て,フレームワークの性能を高めるために,イントラソースとイントラソースのブレンディングを提案する。
  論文  参考訳（メタデータ） (2022-07-04T04:57:06Z)
• Face2PPG: An unsupervised pipeline for blood volume pulse extraction from faces [0.456877715768796]
  光合成信号は、医療、幸福、スポーツなど、多くの分野で重要な技術となっている。 本研究は,顔からPSG信号を安定かつ確実に抽出するパイプラインの集合を提案する。
  論文  参考訳（メタデータ） (2022-02-08T19:06:20Z)
• TransPPG: Two-stream Transformer for Remote Heart Rate Estimate [4.866431869728018]
  遠隔光麻痺(r)を用いた非接触顔画像による心拍数推定は,多くの応用において大きな可能性を秘めている。 しかし、現実的な応用には、頭部の動きや不安定な照明を伴う複雑な環境下であっても、正確な結果が必要である。 オーバーラップを用いたマルチスケール適応空間・テンポラルマップと呼ばれる特徴マップに,各顔映像シーケンスを埋め込む新しい映像埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2022-01-26T11:11:14Z)
• Total Scale: Face-to-Body Detail Reconstruction from Sparse RGBD Sensors [52.38220261632204]
  PIFuをベースとした再建術では, 顔面の平坦化が頻発する。 再建した顔のディテールの質を高めるために,2段階のPIFu表現を提案する。 顔の鮮明な細部と身体形状の変形におけるアプローチの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2021-12-03T18:46:49Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• TransRPPG: Remote Photoplethysmography Transformer for 3D Mask Face Presentation Attack Detection [53.98866801690342]
  3次元マスク提示攻撃検出(PAD)は、3次元マスク攻撃から顔認識システムを保護する上で重要な役割を担っている。 ライブ本質表現を効率的に学習するための純粋なrトランス(TransR)フレームワークを提案する。 当社のTransRは軽量で効率的(547Kパラメータと763MOPのみ)で、モバイルレベルのアプリケーションに期待できる。
  論文  参考訳（メタデータ） (2021-04-15T12:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。