論文の概要: PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer

• arxiv url: http://arxiv.org/abs/2111.12082v1
• Date: Tue, 23 Nov 2021 18:57:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-24 15:21:51.970300
• Title: PhysFormer: Facial Video-based Physiological Measurement with Temporal Difference Transformer
• Title（参考訳）: physformer:時間差トランスフォーマーを用いた顔面ビデオによる生理学的計測
• Authors: Zitong Yu, Yuming Shen, Jingang Shi, Hengshuang Zhao, Philip Torr, Guoying Zhao
• Abstract要約: 近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。 本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
• 参考スコア（独自算出の注目度）: 55.936527926778695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Remote photoplethysmography (rPPG), which aims at measuring heart activities and physiological signals from facial video without any contact, has great potential in many applications (e.g., remote healthcare and affective computing). Recent deep learning approaches focus on mining subtle rPPG clues using convolutional neural networks with limited spatio-temporal receptive fields, which neglect the long-range spatio-temporal perception and interaction for rPPG modeling. In this paper, we propose the PhysFormer, an end-to-end video transformer based architecture, to adaptively aggregate both local and global spatio-temporal features for rPPG representation enhancement. As key modules in PhysFormer, the temporal difference transformers first enhance the quasi-periodic rPPG features with temporal difference guided global attention, and then refine the local spatio-temporal representation against interference. Furthermore, we also propose the label distribution learning and a curriculum learning inspired dynamic constraint in frequency domain, which provide elaborate supervisions for PhysFormer and alleviate overfitting. Comprehensive experiments are performed on four benchmark datasets to show our superior performance on both intra- and cross-dataset testings. One highlight is that, unlike most transformer networks needed pretraining from large-scale datasets, the proposed PhysFormer can be easily trained from scratch on rPPG datasets, which makes it promising as a novel transformer baseline for the rPPG community. The codes will be released at https://github.com/ZitongYu/PhysFormer.
• Abstract（参考訳）: RPPG(Remote Photoplethysmography)は、接触のない顔画像から心臓活動や生理的信号を測定することを目的としており、多くの応用(例えば、遠隔医療や情動コンピューティング)において大きな可能性を秘めている。 近年の深層学習手法は,rPPGモデリングにおける長距離時空間知覚と相互作用を無視した時空間受容場を限定した畳み込みニューラルネットワークを用いた微妙なrPPG手がかりのマイニングに重点を置いている。 本稿では,RPPG表現拡張のための局所的特徴とグローバルな時空間的特徴の両方を適応的に集約する,エンドツーエンドのビデオトランスフォーマーであるPhysFormerを提案する。 PhysFormerのキーモジュールとして、時間差変換器は、まず、時間差を導いた大域的注意を伴って準周期的なrPPG特性を高め、干渉に対する局所時空間表現を洗練させる。 さらに,PhysFormerの厳密な指導と過度適合の緩和を目的としたラベル分布学習と,周波数領域における動的制約にインスパイアされたカリキュラム学習を提案する。 4つのベンチマークデータセットで総合的な実験を行い、データ内テストとクロスデータセットテストの両方で優れたパフォーマンスを示す。 大規模データセットから事前トレーニングが必要なほとんどのトランスフォーマーネットワークとは異なり、提案されたPhysFormerは、rPPGデータセットをスクラッチから簡単にトレーニングできるため、rPPGコミュニティの新たなトランスフォーマーベースラインとして期待できる。 コードはhttps://github.com/zitongyu/physformerでリリースされる。

関連論文リスト

• PhysMamba: Efficient Remote Physiological Measurement with SlowFast Temporal Difference Mamba [20.435381963248787]
  従来のディープラーニングに基づくr測定は主にCNNとTransformerに基づいている。 本稿では,マンバをベースとしたフレームワークであるPhysMambaを提案する。 PhysMambaの優位性と効率性を示すために、3つのベンチマークデータセットで大規模な実験を行った。
  論文  参考訳（メタデータ） (2024-09-18T14:48:50Z)
• PhySU-Net: Long Temporal Context Transformer for rPPG with Self-Supervised Pre-training [21.521146237660766]
  本稿では,Phy-Net,Phy-Net,Phy-Net,Phy-Net,Phy-Net,Phy-Net,Phy-Netを提案する。 我々のモデルは2つの公開データセット(OBFとVIPL-HR)でテストされ、教師あり訓練において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:59:16Z)
• Dual-path TokenLearner for Remote Photoplethysmography-based Physiological Measurement with Facial Videos [24.785755814666086]
  本稿では,学習可能なトークンの概念を利用して,ビデオのグローバルな視点から空間的・時間的情報的コンテキストを統合する。 TTL(Temporal TokenLearner)は、頭部運動などの時間的乱れを排除し、心拍の準周期パターンを推定するように設計されている。
  論文  参考訳（メタデータ） (2023-08-15T13:45:45Z)
• PhysFormer++: Facial Video-based Physiological Measurement with SlowFast Temporal Difference Transformer [76.40106756572644]
  最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。 本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。 4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
  論文  参考訳（メタデータ） (2023-02-07T15:56:03Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Unsupervised inter-frame motion correction for whole-body dynamic PET using convolutional long short-term memory in a convolutional neural network [9.349668170221975]
  我々は、フレーム間の身体の動きを補正するための教師なしのディープラーニングベースのフレームワークを開発する。 運動推定ネットワークは、畳み込み長短期記憶層を組み合わせた畳み込みニューラルネットワークである。 トレーニング後,提案したネットワークの動作推定時間は,従来の登録ベースラインの約460倍の速度であった。
  論文  参考訳（メタデータ） (2022-06-13T17:38:16Z)
• Delayed Propagation Transformer: A Universal Computation Engine towards Practical Control in Cyber-Physical Systems [68.75717332928205]
  マルチエージェント制御はサイバー物理システムにおいて中心的なテーマである。 本稿では,CPSのグローバルモデリングを専門とするトランスフォーマーモデルを提案する。 物理的な制約帰納バイアスが設計に組み込まれているため、DePTは幅広い種類のマルチエージェントシステムにプラグアンドプレイする準備ができています。
  論文  参考訳（メタデータ） (2021-10-29T17:20:53Z)
• Video-based Remote Physiological Measurement via Cross-verified Feature Disentangling [121.50704279659253]
  非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。 次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。 歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
  論文  参考訳（メタデータ） (2020-07-16T09:39:17Z)
• AutoHR: A Strong End-to-end Baseline for Remote Heart Rate Measurement with Neural Searching [76.4844593082362]
  既存のエンド・ツー・エンドのネットワークが難易度が低い理由を考察し,アーキテクチャ・サーチ(NAS)を用いたリモートHR計測のための強力なベースラインを確立する。 総合的な実験は、時間内テストとクロスデータセットテストの両方で3つのベンチマークデータセットで実施される。
  論文  参考訳（メタデータ） (2020-04-26T05:43:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。