論文の概要: Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote
Physiological Measurement via Spatiotemporal Contrast
- arxiv url: http://arxiv.org/abs/2309.06924v2
- Date: Tue, 30 Jan 2024 02:14:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 19:06:46.856600
- Title: Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote
Physiological Measurement via Spatiotemporal Contrast
- Title（参考訳）: コントラスト-Phys+:時空間コントラストによる教師なし・弱教師付き遠隔生理計測
- Authors: Zhaodong Sun and Xiaobai Li
- Abstract要約: 教師なし設定と教師なし設定の両方でトレーニングできるContrast-Phys+を提案する。
我々は3DCNNモデルを用いて複数のリズム信号を生成し、rの事前知識を対照的な損失関数に組み込む。
コントラスト-Phys+は、部分的に利用可能あるいは不一致のGT信号を使用する場合でも、最先端の教師付き手法より優れている。
- 参考スコア（独自算出の注目度）: 22.742875409103164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video-based remote physiological measurement utilizes facial videos to
measure the blood volume change signal, which is also called remote
photoplethysmography (rPPG). Supervised methods for rPPG measurements have been
shown to achieve good performance. However, the drawback of these methods is
that they require facial videos with ground truth (GT) physiological signals,
which are often costly and difficult to obtain. In this paper, we propose
Contrast-Phys+, a method that can be trained in both unsupervised and
weakly-supervised settings. We employ a 3DCNN model to generate multiple
spatiotemporal rPPG signals and incorporate prior knowledge of rPPG into a
contrastive loss function. We further incorporate the GT signals into
contrastive learning to adapt to partial or misaligned labels. The contrastive
loss encourages rPPG/GT signals from the same video to be grouped together,
while pushing those from different videos apart. We evaluate our methods on
five publicly available datasets that include both RGB and Near-infrared
videos. Contrast-Phys+ outperforms the state-of-the-art supervised methods,
even when using partially available or misaligned GT signals, or no labels at
all. Additionally, we highlight the advantages of our methods in terms of
computational efficiency, noise robustness, and generalization. Our code is
available at https://github.com/zhaodongsun/contrast-phys.
- Abstract（参考訳）: ビデオベースの遠隔生理計測は、顔の映像を利用して血液量変化信号を測定する。
rPPG測定の監視手法は優れた性能を発揮することが示されている。
しかし、これらの手法の欠点は、しばしばコストがかかり入手が困難である、地上の真実(GT)生理学的信号を持つ顔ビデオを必要とすることである。
本稿では,教師なし設定と弱い教師なし設定の両方で訓練できる方法であるcon contrast-phys+を提案する。
我々は3DCNNモデルを用いて、複数の時空間rPPG信号を生成し、rPPGの事前知識を対照的な損失関数に組み込む。
さらに、GT信号をコントラスト学習に組み込んで、部分的または不正なラベルに適応させる。
対照的な損失は、同じビデオからのrPPG/GT信号をグループ化し、異なるビデオからそれらを分離させる。
RGBおよび近赤外ビデオを含む5つの公開データセットに対して,本手法の評価を行った。
コントラスト-Phys+は、部分的に利用可能または不一致のGT信号を使用する場合やラベルが全くない場合でも、最先端の教師付き手法よりも優れている。
さらに,計算効率,雑音頑健性,一般化の観点から,本手法の利点を強調した。
私たちのコードはhttps://github.com/zhaodongsun/contrast-physで利用可能です。
関連論文リスト
- SiNC+: Adaptive Camera-Based Vitals with Unsupervised Learning of Periodic Signals [6.458510829614774]
信号回帰のための非競合型教師なし学習フレームワークを初めて提示する。
正常な生理的帯域内におけるスパースパワースペクトルの促進と,周期的な信号の学習にはパワースペクトルのバッチによるばらつきが十分であることがわかった。
論文 参考訳（メタデータ） (2024-04-20T19:17:40Z) - Refining Pre-Trained Motion Models [56.18044168821188]
我々は、自己教師付きトレーニングによる最先端の教師付きモデルの改善に挑戦する。
実世界の未学習ビデオから「クリーン」な訓練信号を得ることに重点を置いている。
本研究では,本手法が実動画における完全教師付き手法よりも信頼性が高いことを示す。
論文 参考訳（メタデータ） (2024-01-01T18:59:33Z) - Non-Contact NIR PPG Sensing through Large Sequence Signal Regression [0.0]
非接触センシング(non-Contact sensor)は、自動車の運転監視から医療の患者監視まで、多くの業界で応用されている新興技術である。
現在最先端のRGBビデオに焦点が当てられているが、これは様々な/ノイズの多い光条件で苦戦しており、暗闇ではほとんど不可能だ。しかし、近赤外線(NIR)ビデオは、これらの制約に苦しむことはない。
本稿では,NIRフレームのシーケンスから光胸腺造影(NIR)信号を取り出すために,代替のConvolution Attention Network(CAN)アーキテクチャの有効性を実証することを目的とする。
論文 参考訳（メタデータ） (2023-11-20T13:34:51Z) - Non-Contrastive Unsupervised Learning of Physiological Signals from
Video [4.8327232174895745]
ラベル付きビデオデータから解放される信号回帰を非コントラスト非教師付き学習フレームワークを提案する。
周期性と有限帯域幅の仮定は最小限であり,本手法では非競合ビデオから直接血液体積パルスを検出することができる。
論文 参考訳（メタデータ） (2023-03-14T14:34:51Z) - Improving Unsupervised Video Object Segmentation with Motion-Appearance
Synergy [52.03068246508119]
IMASは、トレーニングや推論において手動のアノテーションを使わずに、主要オブジェクトをビデオに分割する手法である。
IMASはMotion-Appearance Synergyによる改良されたUVOSを実現する。
人間のアノテーションや手作りハイパーパラム特有のメトリクスで調整された重要なハイパーパラムのチューニングにおいて、その効果を実証する。
論文 参考訳（メタデータ） (2022-12-17T06:47:30Z) - Facial Video-based Remote Physiological Measurement via Self-supervised
Learning [9.99375728024877]
本稿では,映像からr信号を推定する新たなフレームワークを提案する。
負のサンプルは、非線形信号周波数変換を行う学習可能な周波数モジュールを介して生成される。
次に、強化サンプルからr信号を推定するために、局所的なrエキスパートアグリゲーションモジュールを導入する。
異なる顔領域からの相補的な脈動情報を符号化し、それらを1つのr予測に集約する。
論文 参考訳（メタデータ） (2022-10-27T13:03:23Z) - Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement
via Spatiotemporal Contrast [17.691683039742323]
遠隔胸部CT(remote Photoplethysmography、r)とも呼ばれる、血液量変化信号を測定するためのビデオベースのリモート生理計測フェイスビデオ
我々は3DCNNモデルを用いて、異なる場所で各ビデオから複数のリズム信号を生成し、同じビデオからのr信号がまとめられ、異なるビデオからのr信号が押し出されながら、対照的な損失でモデルを訓練する。
論文 参考訳（メタデータ） (2022-08-08T19:30:57Z) - Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical
Scene Segmentation with Limited Annotations [72.15956198507281]
シーンセグメンテーションを促進するために,新しい擬似ラベル付きクロスビデオコントラスト学習法であるPGV-CLを提案する。
本研究では,ロボット外科手術データセットEndoVis18と白内障手術データセットCaDISについて検討した。
論文 参考訳（メタデータ） (2022-07-20T05:42:19Z) - Deep Video Prior for Video Consistency and Propagation [58.250209011891904]
視覚的ビデオの時間的整合性に対する新規で一般的なアプローチを提案する。
提案手法は,大規模なデータセットではなく,オリジナルビデオとプロセッシングビデオのペアでのみ訓練される。
我々は、Deep Video Priorでビデオ上で畳み込みニューラルネットワークをトレーニングすることで、時間的一貫性を実現することができることを示す。
論文 参考訳（メタデータ） (2022-01-27T16:38:52Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳（メタデータ） (2021-11-23T18:57:11Z) - Perceptual Learned Video Compression with Recurrent Conditional GAN [158.0726042755]
本稿では, PVC (Perceptual Learned Video Compression) アプローチを提案する。
PLVCは低ビットレートで映像を知覚品質に圧縮することを学ぶ。
ユーザスタディでは、最新の学習ビデオ圧縮手法と比較して、PLVCの優れた知覚性能をさらに検証している。
論文 参考訳（メタデータ） (2021-09-07T13:36:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。