論文の概要: Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement
via Spatiotemporal Contrast
- arxiv url: http://arxiv.org/abs/2208.04378v1
- Date: Mon, 8 Aug 2022 19:30:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-10 12:39:53.172286
- Title: Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement
via Spatiotemporal Contrast
- Title（参考訳）: Contrast-Phys:時空間コントラストを用いた教師なしビデオによる遠隔生理計測
- Authors: Zhaodong Sun, Xiaobai Li
- Abstract要約: 遠隔胸部CT(remote Photoplethysmography、r)とも呼ばれる、血液量変化信号を測定するためのビデオベースのリモート生理計測フェイスビデオ
我々は3DCNNモデルを用いて、異なる場所で各ビデオから複数のリズム信号を生成し、同じビデオからのr信号がまとめられ、異なるビデオからのr信号が押し出されながら、対照的な損失でモデルを訓練する。
- 参考スコア（独自算出の注目度）: 17.691683039742323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video-based remote physiological measurement utilizes face videos to measure
the blood volume change signal, which is also called remote
photoplethysmography (rPPG). Supervised methods for rPPG measurements achieve
state-of-the-art performance. However, supervised rPPG methods require face
videos and ground truth physiological signals for model training. In this
paper, we propose an unsupervised rPPG measurement method that does not require
ground truth signals for training. We use a 3DCNN model to generate multiple
rPPG signals from each video in different spatiotemporal locations and train
the model with a contrastive loss where rPPG signals from the same video are
pulled together while those from different videos are pushed away. We test on
five public datasets, including RGB videos and NIR videos. The results show
that our method outperforms the previous unsupervised baseline and achieves
accuracies very close to the current best supervised rPPG methods on all five
datasets. Furthermore, we also demonstrate that our approach can run at a much
faster speed and is more robust to noises than the previous unsupervised
baseline. Our code is available at
https://github.com/zhaodongsun/contrast-phys.
- Abstract（参考訳）: ビデオベースの遠隔生理計測では、顔ビデオを用いて血液量の変化信号を測定する。
rPPG測定の監視手法は最先端の性能を達成する。
しかし、教師付きrPPG法は、モデルトレーニングのために、顔ビデオと地上真実の生理的信号を必要とする。
本稿では,地上の真理信号を必要としない教師なしrPPG測定法を提案する。
我々は3DCNNモデルを用いて、異なる時空間で各ビデオから複数のrPPG信号を生成し、同じビデオからのrPPG信号をまとめて、異なるビデオからのrPPG信号をプッシュする対照的な損失でモデルを訓練する。
我々は、RGBビデオとNIRビデオを含む5つの公開データセットをテストする。
その結果,提案手法は従来の教師なしベースラインよりも優れており,現在の5つのデータセットにおいて最も教師付きrPPG法に近い精度が得られることがわかった。
さらに,提案手法は従来の教師なしベースラインよりもはるかに高速に動作し,ノイズに対して頑健であることを示す。
私たちのコードはhttps://github.com/zhaodongsun/contrast-physで利用可能です。
関連論文リスト
- SiNC+: Adaptive Camera-Based Vitals with Unsupervised Learning of Periodic Signals [6.458510829614774]
信号回帰のための非競合型教師なし学習フレームワークを初めて提示する。
正常な生理的帯域内におけるスパースパワースペクトルの促進と,周期的な信号の学習にはパワースペクトルのバッチによるばらつきが十分であることがわかった。
論文 参考訳（メタデータ） (2024-04-20T19:17:40Z) - Refining Pre-Trained Motion Models [56.18044168821188]
我々は、自己教師付きトレーニングによる最先端の教師付きモデルの改善に挑戦する。
実世界の未学習ビデオから「クリーン」な訓練信号を得ることに重点を置いている。
本研究では,本手法が実動画における完全教師付き手法よりも信頼性が高いことを示す。
論文 参考訳（メタデータ） (2024-01-01T18:59:33Z) - Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote
Physiological Measurement via Spatiotemporal Contrast [22.742875409103164]
教師なし設定と教師なし設定の両方でトレーニングできるContrast-Phys+を提案する。
我々は3DCNNモデルを用いて複数のリズム信号を生成し、rの事前知識を対照的な損失関数に組み込む。
コントラスト-Phys+は、部分的に利用可能あるいは不一致のGT信号を使用する場合でも、最先端の教師付き手法より優れている。
論文 参考訳（メタデータ） (2023-09-13T12:50:21Z) - Non-Contrastive Unsupervised Learning of Physiological Signals from
Video [4.8327232174895745]
ラベル付きビデオデータから解放される信号回帰を非コントラスト非教師付き学習フレームワークを提案する。
周期性と有限帯域幅の仮定は最小限であり,本手法では非競合ビデオから直接血液体積パルスを検出することができる。
論文 参考訳（メタデータ） (2023-03-14T14:34:51Z) - Facial Video-based Remote Physiological Measurement via Self-supervised
Learning [9.99375728024877]
本稿では,映像からr信号を推定する新たなフレームワークを提案する。
負のサンプルは、非線形信号周波数変換を行う学習可能な周波数モジュールを介して生成される。
次に、強化サンプルからr信号を推定するために、局所的なrエキスパートアグリゲーションモジュールを導入する。
異なる顔領域からの相補的な脈動情報を符号化し、それらを1つのr予測に集約する。
論文 参考訳（メタデータ） (2022-10-27T13:03:23Z) - Direct Dense Pose Estimation [138.56533828316833]
複雑な人間のポーズ推定は、RGB画像と人体の表面との密接な対応を学習する問題である。
従来より密集したポーズ推定手法は、すべてMask R-CNNフレームワークに基づいており、まず各人物のバウンディングボックスを識別しようとするトップダウン方式で動作している。
そこで我々は,DDP (Direct Dense Pose) という,高密度ポーズ推定問題の解法を提案する。
論文 参考訳（メタデータ） (2022-04-04T06:14:38Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-27T16:38:52Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳（メタデータ） (2021-11-23T18:57:11Z) - The Way to my Heart is through Contrastive Learning: Remote
Photoplethysmography from Unlabelled Video [10.479541955106328]
ビデオから生理的信号を確実に推定する能力は、低コストで臨床前の健康モニタリングにおいて強力なツールである。
本稿では, 人の顔や皮膚の観察から血液量の変化を計測するリモート光胸腺造影法(r)の新たなアプローチを提案する。
論文 参考訳（メタデータ） (2021-11-18T15:21:33Z) - Perceptual Learned Video Compression with Recurrent Conditional GAN [158.0726042755]
本稿では, PVC (Perceptual Learned Video Compression) アプローチを提案する。
PLVCは低ビットレートで映像を知覚品質に圧縮することを学ぶ。
ユーザスタディでは、最新の学習ビデオ圧縮手法と比較して、PLVCの優れた知覚性能をさらに検証している。
論文 参考訳（メタデータ） (2021-09-07T13:36:57Z) - Self-Supervised Human Depth Estimation from Monocular Videos [99.39414134919117]
人間の深度を推定する従来の方法は、しばしば地上の真実の深度データを用いた教師あり訓練を必要とする。
本稿では,YouTubeビデオの奥行きを知ることなく,自己指導型手法を提案する。
実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2020-05-07T09:45:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。