論文の概要: CodePhys: Robust Video-based Remote Physiological Measurement through Latent Codebook Querying

• arxiv url: http://arxiv.org/abs/2502.07526v1
• Date: Tue, 11 Feb 2025 13:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:07:34.060875
• Title: CodePhys: Robust Video-based Remote Physiological Measurement through Latent Codebook Querying
• Title（参考訳）: CodePhys: 潜時コードブッククエリによるロバストなビデオベースリモート生理計測
• Authors: Shuyang Chu, Menghan Xia, Mengyao Yuan, Xin Liu, Tapio Seppanen, Guoying Zhao, Jingang Shi,
• Abstract要約: リモート光胸腺撮影は、顔の映像から非接触的な生理的信号を測定することを目的としている。 既存のほとんどの方法は、心拍推定のためにニューラルネットワークを設計することで、ビデオベースのr特徴を直接抽出する。 近年の手法は、干渉や劣化の影響を受けやすいため、ノイズのあるr信号が生じる。 我々は、ノイズフリープロキシ空間におけるコードタスクとしてrの測定を革新的に扱うCodePhysという新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 26.97093819822487
• License:
• Abstract: Remote photoplethysmography (rPPG) aims to measure non-contact physiological signals from facial videos, which has shown great potential in many applications. Most existing methods directly extract video-based rPPG features by designing neural networks for heart rate estimation. Although they can achieve acceptable results, the recovery of rPPG signal faces intractable challenges when interference from real-world scenarios takes place on facial video. Specifically, facial videos are inevitably affected by non-physiological factors (e.g., camera device noise, defocus, and motion blur), leading to the distortion of extracted rPPG signals. Recent rPPG extraction methods are easily affected by interference and degradation, resulting in noisy rPPG signals. In this paper, we propose a novel method named CodePhys, which innovatively treats rPPG measurement as a code query task in a noise-free proxy space (i.e., codebook) constructed by ground-truth PPG signals. We consider noisy rPPG features as queries and generate high-fidelity rPPG features by matching them with noise-free PPG features from the codebook. Our approach also incorporates a spatial-aware encoder network with a spatial attention mechanism to highlight physiologically active areas and uses a distillation loss to reduce the influence of non-periodic visual interference. Experimental results on four benchmark datasets demonstrate that CodePhys outperforms state-of-the-art methods in both intra-dataset and cross-dataset settings.
• Abstract（参考訳）: 遠隔プラチスモグラフィー(rPPG)は、顔画像から非接触的な生理的信号を測定することを目的としており、多くの応用において大きな可能性を示している。 既存のほとんどの方法は、心拍推定のためにニューラルネットワークを設計することで、ビデオベースのrPPG機能を直接抽出する。 彼らは許容できる結果を達成することができるが、rPPG信号の回復は、現実のシナリオからの干渉が顔ビデオ上で起こると、難解な課題に直面している。 特に、顔の映像は必然的に非生理的要因(例えば、カメラ装置のノイズ、デフォーカス、動きのぼけ)に影響され、抽出されたrPPG信号の歪みを引き起こす。 最近のrPPG抽出法は、干渉や劣化の影響を受けやすく、ノイズの多いrPPG信号をもたらす。 本稿では,PPG信号によって構築されたノイズフリープロキシ空間(コードブック)において,rPPG測定をコードクエリタスクとして革新的に扱う,CodePhysという新しい手法を提案する。 我々は,ノイズのないPSG機能と照合することで,ノイズの多いrPPG機能をクエリとして,高忠実なrPPG機能を生成する。 また,生理活性領域を強調表示するために空間認識型エンコーダネットワークを導入し,非周期的視覚干渉の影響を低減するために蒸留損失を用いた。 4つのベンチマークデータセットの実験結果から、CodePhysは、データ内設定とデータセット間設定の両方で最先端のメソッドよりも優れています。

関連論文リスト

• Partitioning Message Passing for Graph Fraud Detection [57.928658584067556]
  グラフフラッド検出(GFD)タスクにグラフニューラルネットワーク(GNN)を適用する場合、ラベルの不均衡とホモフィリー・ヘテロフィリー混合が直面する根本的な問題である。 既存のGNNベースのGFDモデルは、GNNのホモフィリーへの帰納バイアスに対応するためにグラフ構造を拡張するように設計されている。 我々の研究では、GFDにGNNを適用する鍵は除外するのではなく、異なるラベルを持つ隣人を区別することにあると論じている。
  論文  参考訳（メタデータ） (2024-11-16T11:30:53Z)
• Mask Attack Detection Using Vascular-weighted Motion-robust rPPG Signals [21.884783786547782]
  R-based face anti-spoofing method は、しばしばビデオシーケンスの不安定な顔アライメントによる性能劣化に悩まされる。 SIFTキーポイントと顔ランドマークの両方を用いて, 顔の鮮明かつ正確に画素レベルで整列するランドマークアンコール顔縫合法を提案する。 Gated Recurrent Unit (GRU) を備えた軽量なEfficientNetは、分類のための空間的特徴と時間的特徴の両方を抽出するように設計されている。
  論文  参考訳（メタデータ） (2023-05-25T11:22:17Z)
• PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer [76.40106756572644]
  最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。 本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。 4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T15:56:03Z)
• Facial Video-based Remote Physiological Measurement via Self-supervised Learning [9.99375728024877]
  本稿では,映像からr信号を推定する新たなフレームワークを提案する。 負のサンプルは、非線形信号周波数変換を行う学習可能な周波数モジュールを介して生成される。 次に、強化サンプルからr信号を推定するために、局所的なrエキスパートアグリゲーションモジュールを導入する。 異なる顔領域からの相補的な脈動情報を符号化し、それらを1つのr予測に集約する。
  論文  参考訳（メタデータ） (2022-10-27T13:03:23Z)
• Benchmarking Joint Face Spoofing and Forgery Detection with Visual and Physiological Cues [81.15465149555864]
  視覚的外観と生理的rcuesを用いた第1回関節スプーフィングおよび検出ベンチマークを作成した。 r周期性判別を強化するために,顔の強信号マップと連続ウェーブレットを入力として変換した2分岐生理ネットワークを設計した。
  論文  参考訳（メタデータ） (2022-08-10T15:41:48Z)
• WPPG Net: A Non-contact Video Based Heart Rate Extraction Network Framework with Compatible Training Capability [21.33542693986985]
  顔の皮膚には、リモートフォトプレシー(r)信号と呼ばれる微妙な色の変化があり、そこから被験者の心拍数を抽出できる。 近年,r信号抽出に関する多くの深層学習手法と関連するデータセットが提案されている。 しかしながら,BVP信号などのラベル波は,我々の体内を流れる時間と他の要因により,実際のr信号に不確実な遅延がある。 本稿では、r信号とラベル波のリズムと周期性に関する共通特性を解析することにより、これらのネットワークを包み、トレーニング時に効率を保ち続けるためのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T19:52:30Z)
• Identifying Rhythmic Patterns for Face Forgery Detection and Categorization [46.21354355137544]
  本研究では, PPG信号に対する空間時間フィルタリングネットワーク (STFNet) と, PPG信号の制約と相互作用のための空間時間インタラクションネットワーク (STINet) からなる顔偽造検出と分類のためのフレームワークを提案する。 フォージェリーメソッドの生成に関する知見を得て,フレームワークの性能を高めるために,イントラソースとイントラソースのブレンディングを提案する。
  論文  参考訳（メタデータ） (2022-07-04T04:57:06Z)
• DRNet: Decomposition and Reconstruction Network for Remote Physiological Measurement [39.73408626273354]
  既存の方法は一般に2つのグループに分けられる。 1つ目は、顔ビデオから微妙な音量パルス(BVP)信号を抽出することに焦点を当てているが、顔ビデオコンテンツを支配するノイズを明示的にモデル化することはめったにない。 第二に、ノイズの多いデータを直接モデリングすることに焦点を当てており、これらの厳密なランダムノイズの規則性の欠如により、最適以下の性能が得られる。
  論文  参考訳（メタデータ） (2022-06-12T07:40:10Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling [121.50704279659253]
  非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。 次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。 歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
  論文  参考訳（メタデータ） (2020-07-16T09:39:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。