論文の概要: SiNC+: Adaptive Camera-Based Vitals with Unsupervised Learning of Periodic Signals
- arxiv url: http://arxiv.org/abs/2404.13449v1
- Date: Sat, 20 Apr 2024 19:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 19:00:27.510048
- Title: SiNC+: Adaptive Camera-Based Vitals with Unsupervised Learning of Periodic Signals
- Title（参考訳）: SiNC+: 周期的信号の教師なし学習による適応型カメラベースバイタル
- Authors: Jeremy Speth, Nathan Vance, Patrick Flynn, Adam Czajka,
- Abstract要約: 信号回帰のための非競合型教師なし学習フレームワークを初めて提示する。
正常な生理的帯域内におけるスパースパワースペクトルの促進と,周期的な信号の学習にはパワースペクトルのバッチによるばらつきが十分であることがわかった。
- 参考スコア（独自算出の注目度）: 6.458510829614774
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Subtle periodic signals, such as blood volume pulse and respiration, can be extracted from RGB video, enabling noncontact health monitoring at low cost. Advancements in remote pulse estimation -- or remote photoplethysmography (rPPG) -- are currently driven by deep learning solutions. However, modern approaches are trained and evaluated on benchmark datasets with ground truth from contact-PPG sensors. We present the first non-contrastive unsupervised learning framework for signal regression to mitigate the need for labelled video data. With minimal assumptions of periodicity and finite bandwidth, our approach discovers the blood volume pulse directly from unlabelled videos. We find that encouraging sparse power spectra within normal physiological bandlimits and variance over batches of power spectra is sufficient for learning visual features of periodic signals. We perform the first experiments utilizing unlabelled video data not specifically created for rPPG to train robust pulse rate estimators. Given the limited inductive biases, we successfully applied the same approach to camera-based respiration by changing the bandlimits of the target signal. This shows that the approach is general enough for unsupervised learning of bandlimited quasi-periodic signals from different domains. Furthermore, we show that the framework is effective for finetuning models on unlabelled video from a single subject, allowing for personalized and adaptive signal regressors.
- Abstract（参考訳）: 血液量の脈拍や呼吸のようなサブトル周期的な信号は、RGBビデオから抽出することができ、非接触型健康モニタリングを低コストで実現する。
遠隔パルス推定(rPPG)の進歩は、現在ディープラーニングソリューションによって推進されている。
しかし、現代のアプローチは、コンタクト-PPGセンサーから基礎的真理を持つベンチマークデータセットで訓練され、評価される。
本稿では,ラベル付きビデオデータの必要性を軽減するために,信号回帰のための非コントラスト非教師付き学習フレームワークを提案する。
周期性と有限帯域幅の仮定は最小限であり,本手法は非競合ビデオから直接血液体積パルスを検出する。
周期的な信号の視覚的特徴を学習するには,正常な生理的帯域内でのスパースパワースペクトルの促進と,パワースペクトルのバッチによるばらつきが十分であることがわかった。
我々は、RPPGで特別に作成されていない非競合ビデオデータを用いて、ロバストパルス速度推定器を訓練する実験を行った。
誘導バイアスが限られていることから,ターゲット信号の帯域幅を変化させることで,カメラによる呼吸に同じアプローチを適用できた。
この手法は、異なる領域からの帯域制限された準周期信号の教師なし学習に十分であることを示す。
さらに,本フレームワークは,単一主題からの映像のモデルを微調整するのに有効であり,パーソナライズされた適応的な信号レグレシタを実現することができることを示す。
関連論文リスト
- Unsupervised Denoising for Signal-Dependent and Row-Correlated Imaging Noise [54.0185721303932]
本稿では,行関連の画像ノイズを処理できる,教師なしのディープラーニングベースデノイザについて紹介する。
提案手法では,特殊設計の自己回帰デコーダを備えた変分オートエンコーダを用いる。
本手法では,事前学習した雑音モデルを必要としないため,雑音のないデータを用いてスクラッチから訓練することができる。
論文 参考訳（メタデータ） (2023-10-11T20:48:20Z) - Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote
Physiological Measurement via Spatiotemporal Contrast [22.742875409103164]
教師なし設定と教師なし設定の両方でトレーニングできるContrast-Phys+を提案する。
我々は3DCNNモデルを用いて複数のリズム信号を生成し、rの事前知識を対照的な損失関数に組み込む。
コントラスト-Phys+は、部分的に利用可能あるいは不一致のGT信号を使用する場合でも、最先端の教師付き手法より優れている。
論文 参考訳（メタデータ） (2023-09-13T12:50:21Z) - Augment and Criticize: Exploring Informative Samples for Semi-Supervised
Monocular 3D Object Detection [64.65563422852568]
我々は、一般的な半教師付きフレームワークを用いて、難解な単分子3次元物体検出問題を改善する。
我々は、ラベルのないデータから豊富な情報的サンプルを探索する、新しい、シンプルで効果的なAugment and Criticize'フレームワークを紹介します。
3DSeMo_DLEと3DSeMo_FLEXと呼ばれる2つの新しい検出器は、KITTIのAP_3D/BEV(Easy)を3.5%以上改善した。
論文 参考訳（メタデータ） (2023-03-20T16:28:15Z) - Non-Contrastive Unsupervised Learning of Physiological Signals from
Video [4.8327232174895745]
ラベル付きビデオデータから解放される信号回帰を非コントラスト非教師付き学習フレームワークを提案する。
周期性と有限帯域幅の仮定は最小限であり,本手法では非競合ビデオから直接血液体積パルスを検出することができる。
論文 参考訳（メタデータ） (2023-03-14T14:34:51Z) - Facial Video-based Remote Physiological Measurement via Self-supervised
Learning [9.99375728024877]
本稿では,映像からr信号を推定する新たなフレームワークを提案する。
負のサンプルは、非線形信号周波数変換を行う学習可能な周波数モジュールを介して生成される。
次に、強化サンプルからr信号を推定するために、局所的なrエキスパートアグリゲーションモジュールを導入する。
異なる顔領域からの相補的な脈動情報を符号化し、それらを1つのr予測に集約する。
論文 参考訳（メタデータ） (2022-10-27T13:03:23Z) - Monitoring MBE substrate deoxidation via RHEED image-sequence analysis
by deep learning [62.997667081978825]
本稿では,深層学習に基づくRHEED画像系列分類を用いたMBEにおけるGaAs基板脱酸化の自動監視手法を提案する。
提案手法は,機能抽出のための非教師付きオートエンコーダ(AE)と,教師付き畳み込みネットワークを組み合わせたものである。
論文 参考訳（メタデータ） (2022-10-07T10:01:06Z) - Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement
via Spatiotemporal Contrast [17.691683039742323]
遠隔胸部CT(remote Photoplethysmography、r)とも呼ばれる、血液量変化信号を測定するためのビデオベースのリモート生理計測フェイスビデオ
我々は3DCNNモデルを用いて、異なる場所で各ビデオから複数のリズム信号を生成し、同じビデオからのr信号がまとめられ、異なるビデオからのr信号が押し出されながら、対照的な損失でモデルを訓練する。
論文 参考訳（メタデータ） (2022-08-08T19:30:57Z) - Disentangled Representation Learning for RF Fingerprint Extraction under
Unknown Channel Statistics [77.13542705329328]
本稿では,まず,不整合表現学習(DRL)の枠組みを提案し,入力信号を逆学習によりデバイス関連成分とデバイス関連成分に分解する。
提案フレームワークにおける暗黙的なデータ拡張は、デバイス非関連チャネル統計の過度な適合を避けるために、RFF抽出器に正規化を課す。
実験により、DR-RFFと呼ばれる提案手法は、未知の複雑な伝播環境に対する一般化可能性の観点から従来の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-08-04T15:46:48Z) - WPPG Net: A Non-contact Video Based Heart Rate Extraction Network
Framework with Compatible Training Capability [21.33542693986985]
顔の皮膚には、リモートフォトプレシー(r)信号と呼ばれる微妙な色の変化があり、そこから被験者の心拍数を抽出できる。
近年,r信号抽出に関する多くの深層学習手法と関連するデータセットが提案されている。
しかしながら,BVP信号などのラベル波は,我々の体内を流れる時間と他の要因により,実際のr信号に不確実な遅延がある。
本稿では、r信号とラベル波のリズムと周期性に関する共通特性を解析することにより、これらのネットワークを包み、トレーニング時に効率を保ち続けるためのトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-07-04T19:52:30Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳（メタデータ） (2021-11-23T18:57:11Z) - Video-based Person Re-identification without Bells and Whistles [49.51670583977911]
ビデオベースの人物再識別(Re-ID)は、異なるカメラの下で歩行者を特定するために、ビデオトラッカーとトリミングされたビデオフレームをマッチングすることを目的としている。
従来の方法による不完全な検出と追跡の結果から, 収穫したトラックレットの空間的, 時間的不整合が生じている。
本稿では,深層学習に基づくトラックレットの検出と追跡を適用することで,これらの予期せぬノイズを効果的に低減できる簡易な再検出リンク(DL)モジュールを提案する。
論文 参考訳（メタデータ） (2021-05-22T10:17:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。