論文の概要: RhythmFormer: Extracting Patterned rPPG Signals based on Periodic Sparse Attention

• arxiv url: http://arxiv.org/abs/2402.12788v2
• Date: Wed, 25 Dec 2024 05:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:22:28.236643
• Title: RhythmFormer: Extracting Patterned rPPG Signals based on Periodic Sparse Attention
• Title（参考訳）: RhythmFormer:周期的スパース注意に基づくパターン付きrPPG信号の抽出
• Authors: Bochao Zou, Zizheng Guo, Jiansheng Chen, Junbao Zhuo, Weiran Huang, Huimin Ma,
• Abstract要約: RRhythmは、生理学的ビデオに基づいて生理的信号を検出する非接触法である。 本稿では,周期性によって誘発される時間的注意間隔に基づく周期的注意機構を提案する。 これは、データ内およびデータ間評価の両方において最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 18.412642801957197
• License:
• Abstract: Remote photoplethysmography (rPPG) is a non-contact method for detecting physiological signals based on facial videos, holding high potential in various applications. Due to the periodicity nature of rPPG signals, the long-range dependency capturing capacity of the transformer was assumed to be advantageous for such signals. However, existing methods have not conclusively demonstrated the superior performance of transformers over traditional convolutional neural networks. This may be attributed to the quadratic scaling exhibited by transformer with sequence length, resulting in coarse-grained feature extraction, which in turn affects robustness and generalization. To address that, this paper proposes a periodic sparse attention mechanism based on temporal attention sparsity induced by periodicity. A pre-attention stage is introduced before the conventional attention mechanism. This stage learns periodic patterns to filter out a large number of irrelevant attention computations, thus enabling fine-grained feature extraction. Moreover, to address the issue of fine-grained features being more susceptible to noise interference, a fusion stem is proposed to effectively guide self-attention towards rPPG features. It can be easily integrated into existing methods to enhance their performance. Extensive experiments show that the proposed method achieves state-of-the-art performance in both intra-dataset and cross-dataset evaluations. The codes are available at https://github.com/zizheng-guo/RhythmFormer.
• Abstract（参考訳）: リモート光胸腺造影法(remote Photoplethysmography, RPPG)は, 顔画像に基づいて生理的信号を検出する非接触法である。 rPPG信号の周期性のため、変換器の長距離依存性捕捉能力はそのような信号に有利であると考えられた。 しかし、既存の手法は従来の畳み込みニューラルネットワークよりもトランスフォーマーの優れた性能を決定的に証明していない。 これは、シークエンス長の変換器によって示される二次的スケーリングによって、粗い粒度の特徴抽出が生じ、その結果、ロバスト性や一般化に影響を及ぼすと考えられる。 そこで本研究では,周期性によって引き起こされる時間的注意間隔に基づく,周期的スパークアテンション機構を提案する。 従来の注意機構の前に事前注意段階を導入する。 この段階は周期パターンを学習し、多くの無関係な注意計算をフィルタリングし、きめ細かい特徴抽出を可能にする。 さらに,ノイズ干渉の影響を受けやすい微細な特徴に対処するために,rPPG特徴に対する自己注意を効果的に導くために,融合ステムを提案する。 既存のメソッドに簡単に統合してパフォーマンスを向上させることができます。 拡張実験により,提案手法は,データ内およびクロスデータセットの評価において,最先端の性能を実現することが示された。 コードはhttps://github.com/zizheng-guo/RhythmFormer.comで公開されている。

関連論文リスト

• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• Data-Driven Abstractions via Binary-Tree Gaussian Processes for Formal Verification [0.22499166814992438]
  ガウス過程(GP)回帰に基づく抽象的解は、量子化された誤差を持つデータから潜在システムの表現を学習する能力で人気を博している。 二分木ガウス過程(BTGP)により未知系のマルコフ連鎖モデルを構築することができることを示す。 BTGPの関数空間に真の力学が存在しない場合でも、統一公式による非局在誤差量子化を提供する。
  論文  参考訳（メタデータ） (2024-07-15T11:49:44Z)
• RhythmMamba: Fast Remote Physiological Measurement with Arbitrary Length Videos [10.132660483466239]
  本稿ではRhythmMambaについて紹介する。RhythmMambaはマルチテンポラリマンバを用いて周期パターンと短期トレンドの両方を制約するエンド・ツー・エンドの手法である。 大規模な実験により、RhythmMambaはパラメータを減らし計算複雑性を下げた最先端の性能を示した。
  論文  参考訳（メタデータ） (2024-04-09T17:34:19Z)
• A Poisson-Gamma Dynamic Factor Model with Time-Varying Transition Dynamics [51.147876395589925]
  非定常PGDSは、基礎となる遷移行列が時間とともに進化できるように提案されている。 後続シミュレーションを行うために, 完全共役かつ効率的なギブスサンプリング装置を開発した。 実験により,提案した非定常PGDSは,関連するモデルと比較して予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-02-26T04:39:01Z)
• Refined Temporal Pyramidal Compression-and-Amplification Transformer for 3D Human Pose Estimation [26.61672772233569]
  ビデオシーケンス中の人間の3Dポーズを正確に推定するには、精度とよく構造化されたアーキテクチャの両方が必要である。 本稿では,RTPCA(Refined Temporal Pyramidal Compression-and-Amplification)変換器を紹介する。 本稿では,Human3.6M,HumanEva-I,MPI-INF-3DHPベンチマーク上でのRTPCAの有効性を示す。
  論文  参考訳（メタデータ） (2023-09-04T05:25:10Z)
• GaitFormer: Revisiting Intrinsic Periodicity for Gait Recognition [6.517046095186713]
  歩行認識は、外見情報に頼るのではなく、ビデオレベルの人間のシルエットを分析することで、異なる歩行パターンを区別することを目的としている。 これまでの研究は主に局所的あるいはグローバルな時間的表現の抽出に重点を置いてきた。 本稿では,周期的特性と歩行パターンの微細な時間依存性を生かした,TPA (Temporal Periodic Alignment) と呼ばれるプラグイン・アンド・プレイ戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-25T05:05:07Z)
• Diagnostic Spatio-temporal Transformer with Faithful Encoding [54.02712048973161]
  本稿では,データ生成プロセスが複合時間(ST)依存性を持つ場合の異常診断の課題について述べる。 我々は、ST依存を時系列分類の副産物として学習する、教師付き依存発見として問題を定式化する。 既存のST変圧器で使用される時間的位置符号化は、高周波数(短時間スケール)の周波数をキャプチャする重大な制限を有することを示す。 また、空間的および時間的方向の両方で容易に消費可能な診断情報を提供する新しいST依存性発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-26T05:31:23Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• WPPG Net: A Non-contact Video Based Heart Rate Extraction Network Framework with Compatible Training Capability [21.33542693986985]
  顔の皮膚には、リモートフォトプレシー(r)信号と呼ばれる微妙な色の変化があり、そこから被験者の心拍数を抽出できる。 近年,r信号抽出に関する多くの深層学習手法と関連するデータセットが提案されている。 しかしながら,BVP信号などのラベル波は,我々の体内を流れる時間と他の要因により,実際のr信号に不確実な遅延がある。 本稿では、r信号とラベル波のリズムと周期性に関する共通特性を解析することにより、これらのネットワークを包み、トレーニング時に効率を保ち続けるためのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T19:52:30Z)
• PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer [55.936527926778695]
  近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:57:11Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。