論文の概要: RhythmFormer: Extracting rPPG Signals Based on Hierarchical Temporal Periodic Transformer

• arxiv url: http://arxiv.org/abs/2402.12788v1
• Date: Tue, 20 Feb 2024 07:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 16:35:40.472000
• Title: RhythmFormer: Extracting rPPG Signals Based on Hierarchical Temporal Periodic Transformer
• Title（参考訳）: RhythmFormer:階層型時間周期変換器に基づくrPPG信号の抽出
• Authors: Bochao Zou, Zizheng Guo, Jiansheng Chen, Huimin Ma
• Abstract要約: 本稿では,r周期性の準周期特性を明示的に活用することにより,r信号の完全エンドツーエンド変換手法を提案する。 融合ステムはr特徴に対する自己注意を効果的に導くために提案され、既存の手法に容易に移行し、その性能を著しく向上させることができる。
• 参考スコア（独自算出の注目度）: 17.751885452773983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote photoplethysmography (rPPG) is a non-contact method for detecting physiological signals based on facial videos, holding high potential in various applications such as healthcare, affective computing, anti-spoofing, etc. Due to the periodicity nature of rPPG, the long-range dependency capturing capacity of the Transformer was assumed to be advantageous for such signals. However, existing approaches have not conclusively demonstrated the superior performance of Transformer over traditional convolutional neural network methods, this gap may stem from a lack of thorough exploration of rPPG periodicity. In this paper, we propose RhythmFormer, a fully end-to-end transformer-based method for extracting rPPG signals by explicitly leveraging the quasi-periodic nature of rPPG. The core module, Hierarchical Temporal Periodic Transformer, hierarchically extracts periodic features from multiple temporal scales. It utilizes dynamic sparse attention based on periodicity in the temporal domain, allowing for fine-grained modeling of rPPG features. Furthermore, a fusion stem is proposed to guide self-attention to rPPG features effectively, and it can be easily transferred to existing methods to enhance their performance significantly. RhythmFormer achieves state-of-the-art performance with fewer parameters and reduced computational complexity in comprehensive experiments compared to previous approaches. The codes are available at https://github.com/zizheng-guo/RhythmFormer.
• Abstract（参考訳）: remote photoplethysmography (rppg) は、顔の映像に基づく生理的信号を検出する非接触的手法であり、医療、感情コンピューティング、アンチスプーフィングなどの様々な応用において高い可能性を持っている。 rPPGの周期性のため、トランスフォーマーの長距離依存性捕捉能力はそのような信号に有利であると考えられた。 しかし、既存のアプローチでは、従来の畳み込みニューラルネットワーク法よりもTransformerの方が優れた性能を示していないため、このギャップは、rPPG周期性の徹底的な探索の欠如に起因する可能性がある。 本稿では,rppgの準周期的性質を明示的に活用してrppg信号を抽出する完全エンドツーエンドトランスフォーマを提案する。 コアモジュールである階層的時間周期変換器は、複数の時間スケールから周期的特徴を階層的に抽出する。 時間領域の周期性に基づく動的スパースアテンションを利用して、rPPG特徴のきめ細かいモデリングを可能にする。 さらに,rPPG機能への自己注意を効果的に導くために融合ステムを提案し,既存の方法に容易に移行して性能を著しく向上させることができる。 RhythmFormerは、従来の手法と比較して、パラメータが少なく、計算の複雑さを低減した最先端のパフォーマンスを実現する。 コードはhttps://github.com/zizheng-guo/rhythmformerで入手できる。

関連論文リスト

• RhythmMamba: Fast Remote Physiological Measurement with Arbitrary Length Videos [10.132660483466239]
  本稿ではRhythmMambaについて紹介する。RhythmMambaはマルチテンポラリマンバを用いて周期パターンと短期トレンドの両方を制約するエンド・ツー・エンドの手法である。 大規模な実験により、RhythmMambaはパラメータを減らし計算複雑性を下げた最先端の性能を示した。
  論文  参考訳（メタデータ） (2024-04-09T17:34:19Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Refined Temporal Pyramidal Compression-and-Amplification Transformer for 3D Human Pose Estimation [26.61672772233569]
  ビデオシーケンス中の人間の3Dポーズを正確に推定するには、精度とよく構造化されたアーキテクチャの両方が必要である。 本稿では,RTPCA(Refined Temporal Pyramidal Compression-and-Amplification)変換器を紹介する。 本稿では,Human3.6M,HumanEva-I,MPI-INF-3DHPベンチマーク上でのRTPCAの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-04T05:25:10Z)
• GaitFormer: Revisiting Intrinsic Periodicity for Gait Recognition [6.517046095186713]
  歩行認識は、外見情報に頼るのではなく、ビデオレベルの人間のシルエットを分析することで、異なる歩行パターンを区別することを目的としている。 これまでの研究は主に局所的あるいはグローバルな時間的表現の抽出に重点を置いてきた。 本稿では,周期的特性と歩行パターンの微細な時間依存性を生かした,TPA (Temporal Periodic Alignment) と呼ばれるプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-25T05:05:07Z)
• Diagnostic Spatio-temporal Transformer with Faithful Encoding [54.02712048973161]
  本稿では,データ生成プロセスが複合時間(ST)依存性を持つ場合の異常診断の課題について述べる。 我々は、ST依存を時系列分類の副産物として学習する、教師付き依存発見として問題を定式化する。 既存のST変圧器で使用される時間的位置符号化は、高周波数(短時間スケール)の周波数をキャプチャする重大な制限を有することを示す。 また、空間的および時間的方向の両方で容易に消費可能な診断情報を提供する新しいST依存性発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T05:31:23Z)
• PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer [76.40106756572644]
  最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。 本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。 4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T15:56:03Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Temporal Lift Pooling for Continuous Sign Language Recognition [6.428695655854854]
  信号処理におけるリフティング・スキームから時間的リフティング・プール(TLP)を導出し,時間的階層の異なる特徴をインテリジェントにダウンサンプリングする。 我々のTLPは3段階の手順であり、信号分解、成分重み付け、情報融合を行い、洗練されたダウンサイズ特徴写像を生成する。 2つの大規模なデータセットの実験では、TLPは手作りの手法と、同様の計算オーバーヘッドを持つ大きなマージン(1.5%)で特殊空間の変種よりも優れていた。
  論文  参考訳（メタデータ） (2022-07-18T16:28:00Z)
• WPPG Net: A Non-contact Video Based Heart Rate Extraction Network Framework with Compatible Training Capability [21.33542693986985]
  顔の皮膚には、リモートフォトプレシー(r)信号と呼ばれる微妙な色の変化があり、そこから被験者の心拍数を抽出できる。 近年,r信号抽出に関する多くの深層学習手法と関連するデータセットが提案されている。 しかしながら,BVP信号などのラベル波は,我々の体内を流れる時間と他の要因により,実際のr信号に不確実な遅延がある。 本稿では、r信号とラベル波のリズムと周期性に関する共通特性を解析することにより、これらのネットワークを包み、トレーニング時に効率を保ち続けるためのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T19:52:30Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。