論文の概要: RhythmFormer: Extracting rPPG Signals Based on Hierarchical Temporal Periodic Transformer

• arxiv url: http://arxiv.org/abs/2402.12788v1
• Date: Tue, 20 Feb 2024 07:56:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-21 16:35:40.472000
• Title: RhythmFormer: Extracting rPPG Signals Based on Hierarchical Temporal Periodic Transformer
• Title（参考訳）: RhythmFormer:階層型時間周期変換器に基づくrPPG信号の抽出
• Authors: Bochao Zou, Zizheng Guo, Jiansheng Chen, Huimin Ma
• Abstract要約: 本稿では,r周期性の準周期特性を明示的に活用することにより,r信号の完全エンドツーエンド変換手法を提案する。 融合ステムはr特徴に対する自己注意を効果的に導くために提案され、既存の手法に容易に移行し、その性能を著しく向上させることができる。
• 参考スコア（独自算出の注目度）: 17.751885452773983
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote photoplethysmography (rPPG) is a non-contact method for detecting physiological signals based on facial videos, holding high potential in various applications such as healthcare, affective computing, anti-spoofing, etc. Due to the periodicity nature of rPPG, the long-range dependency capturing capacity of the Transformer was assumed to be advantageous for such signals. However, existing approaches have not conclusively demonstrated the superior performance of Transformer over traditional convolutional neural network methods, this gap may stem from a lack of thorough exploration of rPPG periodicity. In this paper, we propose RhythmFormer, a fully end-to-end transformer-based method for extracting rPPG signals by explicitly leveraging the quasi-periodic nature of rPPG. The core module, Hierarchical Temporal Periodic Transformer, hierarchically extracts periodic features from multiple temporal scales. It utilizes dynamic sparse attention based on periodicity in the temporal domain, allowing for fine-grained modeling of rPPG features. Furthermore, a fusion stem is proposed to guide self-attention to rPPG features effectively, and it can be easily transferred to existing methods to enhance their performance significantly. RhythmFormer achieves state-of-the-art performance with fewer parameters and reduced computational complexity in comprehensive experiments compared to previous approaches. The codes are available at https://github.com/zizheng-guo/RhythmFormer.
• Abstract（参考訳）: remote photoplethysmography (rppg) は、顔の映像に基づく生理的信号を検出する非接触的手法であり、医療、感情コンピューティング、アンチスプーフィングなどの様々な応用において高い可能性を持っている。 rPPGの周期性のため、トランスフォーマーの長距離依存性捕捉能力はそのような信号に有利であると考えられた。 しかし、既存のアプローチでは、従来の畳み込みニューラルネットワーク法よりもTransformerの方が優れた性能を示していないため、このギャップは、rPPG周期性の徹底的な探索の欠如に起因する可能性がある。 本稿では,rppgの準周期的性質を明示的に活用してrppg信号を抽出する完全エンドツーエンドトランスフォーマを提案する。 コアモジュールである階層的時間周期変換器は、複数の時間スケールから周期的特徴を階層的に抽出する。 時間領域の周期性に基づく動的スパースアテンションを利用して、rPPG特徴のきめ細かいモデリングを可能にする。 さらに,rPPG機能への自己注意を効果的に導くために融合ステムを提案し,既存の方法に容易に移行して性能を著しく向上させることができる。 RhythmFormerは、従来の手法と比較して、パラメータが少なく、計算の複雑さを低減した最先端のパフォーマンスを実現する。 コードはhttps://github.com/zizheng-guo/rhythmformerで入手できる。

関連論文リスト

• A Pre-Training and Adaptive Fine-Tuning Framework for Graph Anomaly Detection [67.77204352386897]
  近年, グラフ異常検出 (GAD) が注目されているが, 異常ノードの不足やラベルアノテーションのコストが高いため, 依然として困難である。 PAFはGAD用に特別に設計されたフレームワークで、事前学習フェーズにおける低域と高域のフィルタを組み合わせて、ノード特徴量における周波数情報の完全なスペクトルをキャプチャする。
  論文  参考訳（メタデータ） (2025-04-19T09:57:35Z)
• DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
  我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。 様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
  論文  参考訳（メタデータ） (2024-10-07T07:21:49Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Reconstructing Richtmyer-Meshkov instabilities from noisy radiographs using low dimensional features and attention-based neural networks [3.6270672925388263]
  トレーニングされた注意に基づくトランスフォーマーネットワークは、Richtmyer-Meshkoff不安定性によって与えられる複雑なトポロジーを確実に回復することができる。 このアプローチは、ICFのような二重貝殻流体力学シミュレーションで実証される。
  論文  参考訳（メタデータ） (2024-08-02T03:02:39Z)
• Data-Driven Abstractions via Binary-Tree Gaussian Processes for Formal Verification [0.22499166814992438]
  ガウス過程(GP)回帰に基づく抽象的解は、量子化された誤差を持つデータから潜在システムの表現を学習する能力で人気を博している。 二分木ガウス過程(BTGP)により未知系のマルコフ連鎖モデルを構築することができることを示す。 BTGPの関数空間に真の力学が存在しない場合でも、統一公式による非局在誤差量子化を提供する。
  論文  参考訳（メタデータ） (2024-07-15T11:49:44Z)
• RhythmMamba: Fast Remote Physiological Measurement with Arbitrary Length Videos [10.132660483466239]
  本稿ではRhythmMambaについて紹介する。RhythmMambaはマルチテンポラリマンバを用いて周期パターンと短期トレンドの両方を制約するエンド・ツー・エンドの手法である。 大規模な実験により、RhythmMambaはパラメータを減らし計算複雑性を下げた最先端の性能を示した。
  論文  参考訳（メタデータ） (2024-04-09T17:34:19Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Refined Temporal Pyramidal Compression-and-Amplification Transformer for 3D Human Pose Estimation [26.61672772233569]
  ビデオシーケンス中の人間の3Dポーズを正確に推定するには、精度とよく構造化されたアーキテクチャの両方が必要である。 本稿では,RTPCA(Refined Temporal Pyramidal Compression-and-Amplification)変換器を紹介する。 本稿では,Human3.6M,HumanEva-I,MPI-INF-3DHPベンチマーク上でのRTPCAの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-04T05:25:10Z)
• GaitFormer: Revisiting Intrinsic Periodicity for Gait Recognition [6.517046095186713]
  歩行認識は、外見情報に頼るのではなく、ビデオレベルの人間のシルエットを分析することで、異なる歩行パターンを区別することを目的としている。 これまでの研究は主に局所的あるいはグローバルな時間的表現の抽出に重点を置いてきた。 本稿では,周期的特性と歩行パターンの微細な時間依存性を生かした,TPA (Temporal Periodic Alignment) と呼ばれるプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-25T05:05:07Z)
• Sequential Attention Source Identification Based on Feature Representation [88.05527934953311]
  本稿では,テンポラルシーケンスに基づくグラフ注意源同定(TGASI)と呼ばれるシーケンス・ツー・シーケンス・ベースのローカライズ・フレームワークを提案する。 なお、このインダクティブラーニングのアイデアは、TGASIが他の事前の知識を知らずに新しいシナリオのソースを検出できることを保証する。
  論文  参考訳（メタデータ） (2023-06-28T03:00:28Z)
• rPPG-MAE: Self-supervised Pre-training with Masked Autoencoders for Remote Physiological Measurement [36.54109704201048]
  リモート光胸腺撮影(r-MAE)はヒトのバイタルサインを知覚する重要な技術である。 本稿では,生理的信号に先行する自己相似性を抽出する自己教師型フレームワークを開発する。 また,提案手法をPUREとUBFC-rという2つの公開データセット上で評価した。
  論文  参考訳（メタデータ） (2023-06-04T08:53:28Z)
• Diagnostic Spatio-temporal Transformer with Faithful Encoding [54.02712048973161]
  本稿では,データ生成プロセスが複合時間(ST)依存性を持つ場合の異常診断の課題について述べる。 我々は、ST依存を時系列分類の副産物として学習する、教師付き依存発見として問題を定式化する。 既存のST変圧器で使用される時間的位置符号化は、高周波数(短時間スケール)の周波数をキャプチャする重大な制限を有することを示す。 また、空間的および時間的方向の両方で容易に消費可能な診断情報を提供する新しいST依存性発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T05:31:23Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• WPPG Net: A Non-contact Video Based Heart Rate Extraction Network Framework with Compatible Training Capability [21.33542693986985]
  顔の皮膚には、リモートフォトプレシー(r)信号と呼ばれる微妙な色の変化があり、そこから被験者の心拍数を抽出できる。 近年,r信号抽出に関する多くの深層学習手法と関連するデータセットが提案されている。 しかしながら,BVP信号などのラベル波は,我々の体内を流れる時間と他の要因により,実際のr信号に不確実な遅延がある。 本稿では、r信号とラベル波のリズムと周期性に関する共通特性を解析することにより、これらのネットワークを包み、トレーニング時に効率を保ち続けるためのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T19:52:30Z)
• Adaptive Spike-Like Representation of EEG Signals for Sleep Stages Scoring [6.644008481573341]
  信号強度の半ガウス的確率によって入力信号と重み特徴を符号化し,フィルタリングし,蓄積する適応的手法を提案する。 提案手法の有効性を検証し,将来有望な方向性を明らかにするため,最先端手法に対する最大の公開データセットの実験を行った。
  論文  参考訳（メタデータ） (2022-04-02T11:21:49Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Signal Processing and Machine Learning Techniques for Terahertz Sensing: An Overview [89.09270073549182]
  テラヘルツ(THz)信号生成と放射法は、無線システムの未来を形作っている。 THz 固有の信号処理技術は、THz 帯域の効率的な利用のために、この THz センシングへの関心を補う必要がある。 本稿では,信号前処理に着目した手法の概要を示す。 また,THz帯で有望な知覚能力を探索し,深層学習の有効性についても検討した。
  論文  参考訳（メタデータ） (2021-04-09T01:38:34Z)
• ADRN: Attention-based Deep Residual Network for Hyperspectral Image Denoising [52.01041506447195]
  ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。 実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-03-04T08:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。