論文の概要: RhythmFormer: Extracting rPPG Signals Based on Hierarchical Temporal Periodic Transformer

• arxiv url: http://arxiv.org/abs/2402.12788v1
• Date: Tue, 20 Feb 2024 07:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 16:35:40.472000
• Title: RhythmFormer: Extracting rPPG Signals Based on Hierarchical Temporal Periodic Transformer
• Title（参考訳）: RhythmFormer:階層型時間周期変換器に基づくrPPG信号の抽出
• Authors: Bochao Zou, Zizheng Guo, Jiansheng Chen, Huimin Ma
• Abstract要約: 本稿では,r周期性の準周期特性を明示的に活用することにより,r信号の完全エンドツーエンド変換手法を提案する。 融合ステムはr特徴に対する自己注意を効果的に導くために提案され、既存の手法に容易に移行し、その性能を著しく向上させることができる。
• 参考スコア（独自算出の注目度）: 17.751885452773983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote photoplethysmography (rPPG) is a non-contact method for detecting physiological signals based on facial videos, holding high potential in various applications such as healthcare, affective computing, anti-spoofing, etc. Due to the periodicity nature of rPPG, the long-range dependency capturing capacity of the Transformer was assumed to be advantageous for such signals. However, existing approaches have not conclusively demonstrated the superior performance of Transformer over traditional convolutional neural network methods, this gap may stem from a lack of thorough exploration of rPPG periodicity. In this paper, we propose RhythmFormer, a fully end-to-end transformer-based method for extracting rPPG signals by explicitly leveraging the quasi-periodic nature of rPPG. The core module, Hierarchical Temporal Periodic Transformer, hierarchically extracts periodic features from multiple temporal scales. It utilizes dynamic sparse attention based on periodicity in the temporal domain, allowing for fine-grained modeling of rPPG features. Furthermore, a fusion stem is proposed to guide self-attention to rPPG features effectively, and it can be easily transferred to existing methods to enhance their performance significantly. RhythmFormer achieves state-of-the-art performance with fewer parameters and reduced computational complexity in comprehensive experiments compared to previous approaches. The codes are available at https://github.com/zizheng-guo/RhythmFormer.
• Abstract（参考訳）: remote photoplethysmography (rppg) は、顔の映像に基づく生理的信号を検出する非接触的手法であり、医療、感情コンピューティング、アンチスプーフィングなどの様々な応用において高い可能性を持っている。 rPPGの周期性のため、トランスフォーマーの長距離依存性捕捉能力はそのような信号に有利であると考えられた。 しかし、既存のアプローチでは、従来の畳み込みニューラルネットワーク法よりもTransformerの方が優れた性能を示していないため、このギャップは、rPPG周期性の徹底的な探索の欠如に起因する可能性がある。 本稿では,rppgの準周期的性質を明示的に活用してrppg信号を抽出する完全エンドツーエンドトランスフォーマを提案する。 コアモジュールである階層的時間周期変換器は、複数の時間スケールから周期的特徴を階層的に抽出する。 時間領域の周期性に基づく動的スパースアテンションを利用して、rPPG特徴のきめ細かいモデリングを可能にする。 さらに,rPPG機能への自己注意を効果的に導くために融合ステムを提案し,既存の方法に容易に移行して性能を著しく向上させることができる。 RhythmFormerは、従来の手法と比較して、パラメータが少なく、計算の複雑さを低減した最先端のパフォーマンスを実現する。 コードはhttps://github.com/zizheng-guo/rhythmformerで入手できる。

関連論文リスト

• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• Reconstructing Richtmyer-Meshkov instabilities from noisy radiographs using low dimensional features and attention-based neural networks [3.6270672925388263]
  トレーニングされた注意に基づくトランスフォーマーネットワークは、Richtmyer-Meshkoff不安定性によって与えられる複雑なトポロジーを確実に回復することができる。 このアプローチは、ICFのような二重貝殻流体力学シミュレーションで実証される。
  論文  参考訳（メタデータ） (2024-08-02T03:02:39Z)
• GaitFormer: Revisiting Intrinsic Periodicity for Gait Recognition [6.517046095186713]
  歩行認識は、外見情報に頼るのではなく、ビデオレベルの人間のシルエットを分析することで、異なる歩行パターンを区別することを目的としている。 これまでの研究は主に局所的あるいはグローバルな時間的表現の抽出に重点を置いてきた。 本稿では,周期的特性と歩行パターンの微細な時間依存性を生かした,TPA (Temporal Periodic Alignment) と呼ばれるプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-25T05:05:07Z)
• Sequential Attention Source Identification Based on Feature Representation [88.05527934953311]
  本稿では,テンポラルシーケンスに基づくグラフ注意源同定(TGASI)と呼ばれるシーケンス・ツー・シーケンス・ベースのローカライズ・フレームワークを提案する。 なお、このインダクティブラーニングのアイデアは、TGASIが他の事前の知識を知らずに新しいシナリオのソースを検出できることを保証する。
  論文  参考訳（メタデータ） (2023-06-28T03:00:28Z)
• rPPG-MAE: Self-supervised Pre-training with Masked Autoencoders for Remote Physiological Measurement [36.54109704201048]
  リモート光胸腺撮影(r-MAE)はヒトのバイタルサインを知覚する重要な技術である。 本稿では,生理的信号に先行する自己相似性を抽出する自己教師型フレームワークを開発する。 また,提案手法をPUREとUBFC-rという2つの公開データセット上で評価した。
  論文  参考訳（メタデータ） (2023-06-04T08:53:28Z)
• Adaptive Spike-Like Representation of EEG Signals for Sleep Stages Scoring [6.644008481573341]
  信号強度の半ガウス的確率によって入力信号と重み特徴を符号化し,フィルタリングし,蓄積する適応的手法を提案する。 提案手法の有効性を検証し,将来有望な方向性を明らかにするため,最先端手法に対する最大の公開データセットの実験を行った。
  論文  参考訳（メタデータ） (2022-04-02T11:21:49Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Signal Processing and Machine Learning Techniques for Terahertz Sensing: An Overview [89.09270073549182]
  テラヘルツ(THz)信号生成と放射法は、無線システムの未来を形作っている。 THz 固有の信号処理技術は、THz 帯域の効率的な利用のために、この THz センシングへの関心を補う必要がある。 本稿では,信号前処理に着目した手法の概要を示す。 また,THz帯で有望な知覚能力を探索し,深層学習の有効性についても検討した。
  論文  参考訳（メタデータ） (2021-04-09T01:38:34Z)
• Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
  現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。 フェースフォージェリ検出に高周波雑音を用いることを提案する。 1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。 2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
  論文  参考訳（メタデータ） (2021-03-23T08:19:21Z)
• ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising [52.01041506447195]
  ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。 実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-04T08:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。