論文の概要: RhythmFormer: Extracting Patterned rPPG Signals based on Periodic Sparse Attention
- arxiv url: http://arxiv.org/abs/2402.12788v2
- Date: Wed, 25 Dec 2024 05:48:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-30 17:22:28.236643
- Title: RhythmFormer: Extracting Patterned rPPG Signals based on Periodic Sparse Attention
- Title（参考訳）: RhythmFormer:周期的スパース注意に基づくパターン付きrPPG信号の抽出
- Authors: Bochao Zou, Zizheng Guo, Jiansheng Chen, Junbao Zhuo, Weiran Huang, Huimin Ma,
- Abstract要約: RRhythmは、生理学的ビデオに基づいて生理的信号を検出する非接触法である。
本稿では,周期性によって誘発される時間的注意間隔に基づく周期的注意機構を提案する。
これは、データ内およびデータ間評価の両方において最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 18.412642801957197
- License:
- Abstract: Remote photoplethysmography (rPPG) is a non-contact method for detecting physiological signals based on facial videos, holding high potential in various applications. Due to the periodicity nature of rPPG signals, the long-range dependency capturing capacity of the transformer was assumed to be advantageous for such signals. However, existing methods have not conclusively demonstrated the superior performance of transformers over traditional convolutional neural networks. This may be attributed to the quadratic scaling exhibited by transformer with sequence length, resulting in coarse-grained feature extraction, which in turn affects robustness and generalization. To address that, this paper proposes a periodic sparse attention mechanism based on temporal attention sparsity induced by periodicity. A pre-attention stage is introduced before the conventional attention mechanism. This stage learns periodic patterns to filter out a large number of irrelevant attention computations, thus enabling fine-grained feature extraction. Moreover, to address the issue of fine-grained features being more susceptible to noise interference, a fusion stem is proposed to effectively guide self-attention towards rPPG features. It can be easily integrated into existing methods to enhance their performance. Extensive experiments show that the proposed method achieves state-of-the-art performance in both intra-dataset and cross-dataset evaluations. The codes are available at https://github.com/zizheng-guo/RhythmFormer.
- Abstract（参考訳）: リモート光胸腺造影法(remote Photoplethysmography, RPPG)は, 顔画像に基づいて生理的信号を検出する非接触法である。
rPPG信号の周期性のため、変換器の長距離依存性捕捉能力はそのような信号に有利であると考えられた。
しかし、既存の手法は従来の畳み込みニューラルネットワークよりもトランスフォーマーの優れた性能を決定的に証明していない。
これは、シークエンス長の変換器によって示される二次的スケーリングによって、粗い粒度の特徴抽出が生じ、その結果、ロバスト性や一般化に影響を及ぼすと考えられる。
そこで本研究では,周期性によって引き起こされる時間的注意間隔に基づく,周期的スパークアテンション機構を提案する。
従来の注意機構の前に事前注意段階を導入する。
この段階は周期パターンを学習し、多くの無関係な注意計算をフィルタリングし、きめ細かい特徴抽出を可能にする。
さらに,ノイズ干渉の影響を受けやすい微細な特徴に対処するために,rPPG特徴に対する自己注意を効果的に導くために,融合ステムを提案する。
既存のメソッドに簡単に統合してパフォーマンスを向上させることができます。
拡張実験により,提案手法は,データ内およびクロスデータセットの評価において,最先端の性能を実現することが示された。
コードはhttps://github.com/zizheng-guo/RhythmFormer.comで公開されている。
関連論文リスト
- DAPE V2: Process Attention Score as Feature Map for Length Extrapolation [63.87956583202729]
我々は特徴写像としての注意を概念化し、コンピュータビジョンにおける処理方法を模倣するために畳み込み演算子を適用した。
様々な注意関係のモデルに適応できる新しい洞察は、現在のTransformerアーキテクチャがさらなる進化の可能性があることを示している。
論文 参考訳（メタデータ） (2024-10-07T07:21:49Z) - Reconstructing Richtmyer-Meshkov instabilities from noisy radiographs using low dimensional features and attention-based neural networks [3.6270672925388263]
トレーニングされた注意に基づくトランスフォーマーネットワークは、Richtmyer-Meshkoff不安定性によって与えられる複雑なトポロジーを確実に回復することができる。
このアプローチは、ICFのような二重貝殻流体力学シミュレーションで実証される。
論文 参考訳（メタデータ） (2024-08-02T03:02:39Z) - GaitFormer: Revisiting Intrinsic Periodicity for Gait Recognition [6.517046095186713]
歩行認識は、外見情報に頼るのではなく、ビデオレベルの人間のシルエットを分析することで、異なる歩行パターンを区別することを目的としている。
これまでの研究は主に局所的あるいはグローバルな時間的表現の抽出に重点を置いてきた。
本稿では,周期的特性と歩行パターンの微細な時間依存性を生かした,TPA (Temporal Periodic Alignment) と呼ばれるプラグイン・アンド・プレイ戦略を提案する。
論文 参考訳（メタデータ） (2023-07-25T05:05:07Z) - Sequential Attention Source Identification Based on Feature
Representation [88.05527934953311]
本稿では,テンポラルシーケンスに基づくグラフ注意源同定(TGASI)と呼ばれるシーケンス・ツー・シーケンス・ベースのローカライズ・フレームワークを提案する。
なお、このインダクティブラーニングのアイデアは、TGASIが他の事前の知識を知らずに新しいシナリオのソースを検出できることを保証する。
論文 参考訳（メタデータ） (2023-06-28T03:00:28Z) - rPPG-MAE: Self-supervised Pre-training with Masked Autoencoders for
Remote Physiological Measurement [36.54109704201048]
リモート光胸腺撮影(r-MAE)はヒトのバイタルサインを知覚する重要な技術である。
本稿では,生理的信号に先行する自己相似性を抽出する自己教師型フレームワークを開発する。
また,提案手法をPUREとUBFC-rという2つの公開データセット上で評価した。
論文 参考訳（メタデータ） (2023-06-04T08:53:28Z) - Adaptive Spike-Like Representation of EEG Signals for Sleep Stages
Scoring [6.644008481573341]
信号強度の半ガウス的確率によって入力信号と重み特徴を符号化し,フィルタリングし,蓄積する適応的手法を提案する。
提案手法の有効性を検証し,将来有望な方向性を明らかにするため,最先端手法に対する最大の公開データセットの実験を行った。
論文 参考訳（メタデータ） (2022-04-02T11:21:49Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳（メタデータ） (2021-11-23T18:57:11Z) - Signal Processing and Machine Learning Techniques for Terahertz Sensing:
An Overview [89.09270073549182]
テラヘルツ(THz)信号生成と放射法は、無線システムの未来を形作っている。
THz 固有の信号処理技術は、THz 帯域の効率的な利用のために、この THz センシングへの関心を補う必要がある。
本稿では,信号前処理に着目した手法の概要を示す。
また,THz帯で有望な知覚能力を探索し,深層学習の有効性についても検討した。
論文 参考訳（メタデータ） (2021-04-09T01:38:34Z) - Generalizing Face Forgery Detection with High-frequency Features [63.33397573649408]
現在のCNNベースの検出器は、メソッド固有の色テクスチャに過度に適合するため、一般化に失敗する傾向にある。
フェースフォージェリ検出に高周波雑音を用いることを提案する。
1つは、複数のスケールで高周波ノイズを抽出するマルチスケールの高周波特徴抽出モジュールである。
2つ目は、低レベルRGB特徴抽出器を導く残差誘導空間注意モジュールで、新しい視点からフォージェリートレースにもっと集中する。
論文 参考訳（メタデータ） (2021-03-23T08:19:21Z) - ADRN: Attention-based Deep Residual Network for Hyperspectral Image
Denoising [52.01041506447195]
ノイズの多いHSIからクリーンなHSIへのマッピングを学習するために,注目に基づくディープ残差ネットワークを提案する。
実験の結果,提案手法は定量的および視覚的評価において最先端の手法よりも優れていた。
論文 参考訳（メタデータ） (2020-03-04T08:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。