論文の概要: PhysMLE: Generalizable and Priors-Inclusive Multi-task Remote Physiological Measurement
- arxiv url: http://arxiv.org/abs/2405.06201v2
- Date: Tue, 29 Oct 2024 04:15:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:36:59.253816
- Title: PhysMLE: Generalizable and Priors-Inclusive Multi-task Remote Physiological Measurement
- Title(参考訳): PhysMLE:総合的・先行的マルチタスクリモート生理計測
- Authors: Jiyao Wang, Hao Lu, Ange Wang, Xiao Yang, Yingcong Chen, Dengbo He, Kaishun Wu,
- Abstract要約: 本稿では,マルチタスク遠隔生理計測(PhysMLE)のためのローランクエキスパートのエンドツーエンド混合について述べる。
PhysMLEは、新しいルータ機構を持つ複数の低ランクの専門家に基づいており、モデルがタスク内の仕様と相関の両方を十分に扱えるようにしている。
公平かつ包括的な評価のために,マルチソース・シンセマンティック・ドメイン・ジェネリゼーション・プロトコルと呼ばれる大規模マルチタスク・ジェネリゼーション・ベンチマークを提案する。
- 参考スコア(独自算出の注目度): 24.424510759648072
- License:
- Abstract: Remote photoplethysmography (rPPG) has been widely applied to measure heart rate from face videos. To increase the generalizability of the algorithms, domain generalization (DG) attracted increasing attention in rPPG. However, when rPPG is extended to simultaneously measure more vital signs (e.g., respiration and blood oxygen saturation), achieving generalizability brings new challenges. Although partial features shared among different physiological signals can benefit multi-task learning, the sparse and imbalanced target label space brings the seesaw effect over task-specific feature learning. To resolve this problem, we designed an end-to-end Mixture of Low-rank Experts for multi-task remote Physiological measurement (PhysMLE), which is based on multiple low-rank experts with a novel router mechanism, thereby enabling the model to adeptly handle both specifications and correlations within tasks. Additionally, we introduced prior knowledge from physiology among tasks to overcome the imbalance of label space under real-world multi-task physiological measurement. For fair and comprehensive evaluations, this paper proposed a large-scale multi-task generalization benchmark, named Multi-Source Synsemantic Domain Generalization (MSSDG) protocol. Extensive experiments with MSSDG and intra-dataset have shown the effectiveness and efficiency of PhysMLE. In addition, a new dataset was collected and made publicly available to meet the needs of the MSSDG.
- Abstract(参考訳): リモート光胸腺撮影(rPPG)は、顔画像から心拍数を測定するために広く応用されている。
アルゴリズムの一般化性を高めるため、領域一般化(DG)はrPPGで注目を集めた。
しかし、rPPGが拡張されて、より重要な兆候(例えば、呼吸、酸素飽和度)を同時に測定すると、一般化性を達成することが新たな課題となる。
異なる生理的信号間で共有される部分的特徴はマルチタスク学習に有用であるが、スパースと不均衡なターゲットラベル空間はタスク固有の特徴学習に対してシーソー効果をもたらす。
この問題を解決するために,複数のルータ機構を持つ複数の低ランク専門家をベースとしたマルチタスク遠隔生理計測(PhysMLE)のためのエンド・ツー・エンドの低ランクエキスパート混合回路を設計し,タスク内の仕様と相関を十分に扱えるようにした。
さらに,実世界のマルチタスク生理学的測定において,ラベル空間の不均衡を克服するために,課題間の生理学からの事前知識を導入した。
そこで本研究では,Multi-Source Synsemantic Domain Generalization (MSSDG)プロトコルという,大規模マルチタスク一般化ベンチマークを提案する。
MSSDGとデータセットを用いた大規模な実験により、PhysMLEの有効性と効率が示された。
さらに、新しいデータセットが収集され、MSSDGのニーズを満たすために公開された。
関連論文リスト
- YOLO-MED : Multi-Task Interaction Network for Biomedical Images [18.535117490442953]
YOLO-Medは、オブジェクト検出とセマンティックセグメンテーションを同時に行うことができる効率的なエンドツーエンドマルチタスクネットワークである。
Kvasir-segデータセットとプライベートバイオメディカルイメージデータセットで評価すると,精度と速度のバランスが期待できる結果が得られた。
論文 参考訳(メタデータ) (2024-03-01T03:20:42Z) - Active Neural Topological Mapping for Multi-Agent Exploration [24.91397816926568]
マルチエージェント協調探索問題では、複数のエージェントが限られた時間で感覚信号を介して見えない環境を探索する必要がある。
トポロジカルマップは、抽象的だが不可欠な情報を持つノードとエッジのみからなる、有望な代替手段である。
深層強化学習は、高速なエンドツーエンド推論を通じて(ほぼ)最適ポリシーを学ぶ大きな可能性を示している。
マルチエージェント探索作業における探索効率の向上と一般化を目的とした,Multi-Agent Neural Topological Mapping (MANTM)を提案する。
論文 参考訳(メタデータ) (2023-11-01T03:06:14Z) - A Deep Learning Sequential Decoder for Transient High-Density
Electromyography in Hand Gesture Recognition Using Subject-Embedded Transfer
Learning [11.170031300110315]
ハンドジェスチャ認識(HGR)は、AIによる人間コンピュータの利用の増加により注目されている。
これらのインターフェースには、拡張現実の制御、アジャイルの義肢、外骨格など、さまざまなアプリケーションがある。
これらのインターフェースには、拡張現実の制御、アジャイルの義肢、外骨格など、さまざまなアプリケーションがある。
論文 参考訳(メタデータ) (2023-09-23T05:32:33Z) - PhysFormer++: Facial Video-based Physiological Measurement with SlowFast
Temporal Difference Transformer [76.40106756572644]
最近のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙な手がかりのマイニングに重点を置いている。
本稿では,PhysFormerとPhys++++をベースとした2つのエンドツーエンドビデオ変換器を提案する。
4つのベンチマークデータセットで総合的な実験を行い、時間内テストとクロスデータセットテストの両方において優れた性能を示す。
論文 参考訳(メタデータ) (2023-02-07T15:56:03Z) - Benchmarking Joint Face Spoofing and Forgery Detection with Visual and
Physiological Cues [81.15465149555864]
視覚的外観と生理的rcuesを用いた第1回関節スプーフィングおよび検出ベンチマークを作成した。
r周期性判別を強化するために,顔の強信号マップと連続ウェーブレットを入力として変換した2分岐生理ネットワークを設計した。
論文 参考訳(メタデータ) (2022-08-10T15:41:48Z) - Superficial White Matter Analysis: An Efficient Point-cloud-based Deep
Learning Framework with Supervised Contrastive Learning for Consistent
Tractography Parcellation across Populations and dMRI Acquisitions [68.41088365582831]
ホワイトマターパーセレーション(White matter parcellation)は、トラクトグラフィーをクラスタまたは解剖学的に意味のあるトラクトに分類する。
ほとんどのパーセレーション法はディープホワイトマター(DWM)にフォーカスするが、その複雑さのため表面ホワイトマター(SWM)に対処する手法は少ない。
本稿では,2段階の深層学習に基づく新しいフレームワークであるSuperficial White Matter Analysis (SupWMA)を提案する。
論文 参考訳(メタデータ) (2022-07-18T23:07:53Z) - GMSS: Graph-Based Multi-Task Self-Supervised Learning for EEG Emotion
Recognition [48.02958969607864]
本稿では,脳波感情認識のためのグラフベースマルチタスク自己教師学習モデル(GMSS)を提案する。
複数のタスクから同時に学習することで、GMSSはすべてのタスクをキャプチャする表現を見つけることができる。
SEED、SEED-IV、MPEDデータセットの実験により、提案モデルが脳波の感情信号に対するより差別的で一般的な特徴を学習する際、顕著な利点があることが示されている。
論文 参考訳(メタデータ) (2022-04-12T03:37:21Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳(メタデータ) (2021-11-23T18:57:11Z) - Video-based Remote Physiological Measurement via Cross-verified Feature
Disentangling [121.50704279659253]
非生理的表現と生理的特徴を混同するための横断的特徴分離戦略を提案する。
次に, 蒸留された生理特性を用いて, 頑健なマルチタスク生理測定を行った。
歪んだ特徴は、最終的に平均HR値やr信号のような複数の生理的信号の合同予測に使用される。
論文 参考訳(メタデータ) (2020-07-16T09:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。