論文の概要: CalibrationPhys: Self-supervised Video-based Heart and Respiratory Rate
Measurements by Calibrating Between Multiple Cameras
- arxiv url: http://arxiv.org/abs/2310.15043v2
- Date: Thu, 11 Jan 2024 03:09:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-13 03:21:12.466394
- Title: CalibrationPhys: Self-supervised Video-based Heart and Respiratory Rate
Measurements by Calibrating Between Multiple Cameras
- Title(参考訳): CalibrationPhys:複数カメラ間の校正による自己監督型心・呼吸速度測定
- Authors: Yusuke Akamatsu, Terumi Umematsu, Hitoshi Imaoka
- Abstract要約: 複数のカメラ間を校正する自己監督型ビデオベース心拍・呼吸速度測定法を提案する。
Physは、複数のカメラで同時に撮影された顔ビデオを使って、ラベルを監督せずにディープラーニングモデルを訓練する。
実験の結果,Physは最先端の心臓および呼吸速度測定法より優れていた。
- 参考スコア(独自算出の注目度): 6.138671548064356
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video-based heart and respiratory rate measurements using facial videos are
more useful and user-friendly than traditional contact-based sensors. However,
most of the current deep learning approaches require ground-truth pulse and
respiratory waves for model training, which are expensive to collect. In this
paper, we propose CalibrationPhys, a self-supervised video-based heart and
respiratory rate measurement method that calibrates between multiple cameras.
CalibrationPhys trains deep learning models without supervised labels by using
facial videos captured simultaneously by multiple cameras. Contrastive learning
is performed so that the pulse and respiratory waves predicted from the
synchronized videos using multiple cameras are positive and those from
different videos are negative. CalibrationPhys also improves the robustness of
the models by means of a data augmentation technique and successfully leverages
a pre-trained model for a particular camera. Experimental results utilizing two
datasets demonstrate that CalibrationPhys outperforms state-of-the-art heart
and respiratory rate measurement methods. Since we optimize camera-specific
models using only videos from multiple cameras, our approach makes it easy to
use arbitrary cameras for heart and respiratory rate measurements.
- Abstract(参考訳): 顔ビデオを用いたビデオベースの心拍数と呼吸数の測定は、従来の接触型センサーよりも有用でユーザフレンドリーである。
しかし、現在のディープラーニングアプローチのほとんどは、収集に費用がかかるモデルトレーニングのために、地中脈波と呼吸波を必要とする。
本稿では,複数のカメラ間を校正する自己監督型心呼吸速度測定法CalibrationPhysを提案する。
CalibrationPhysは、複数のカメラで同時に撮影された顔ビデオを使って、ラベルを監督せずにディープラーニングモデルを訓練する。
コントラスト学習は、複数のカメラを用いた同期ビデオから予測されるパルスと呼吸波が正であり、異なるビデオからのパルスが負となるように行われる。
CalibrationPhysはまた、データ拡張技術によりモデルの堅牢性も改善し、特定のカメラに対する事前訓練されたモデルをうまく活用する。
2つのデータセットを用いた実験結果から、CalibrationPhysは最先端の心臓と呼吸速度の測定方法より優れていることが示された。
複数のカメラのビデオのみを用いてカメラ固有のモデルを最適化するため、任意のカメラを心拍数や呼吸速度の測定に利用しやすくする。
関連論文リスト
- An Examination of Wearable Sensors and Video Data Capture for Human
Exercise Classification [9.674125829493214]
IMUの性能を実世界の2つのデータセット上での人間の運動分類のためのビデオベースアプローチと比較する。
一つのカメラをベースとしたアプローチは、平均10ポイントのIMUを上回り得る。
このアプリケーションでは、簡単に使えるスマートフォンカメラと1台のセンサーを組み合わせることで、人間の運動を効果的に分類することができる。
論文 参考訳(メタデータ) (2023-07-10T12:24:04Z) - Deep Learning for Camera Calibration and Beyond: A Survey [104.36411095582947]
カメラキャリブレーションでは、キャプチャされたシーケンスから幾何学的特徴を推測するために、カメラパラメータを推定する。
近年の取り組みでは,手動キャリブレーションの繰り返し作業に代えて,学習ベースのソリューションが活用される可能性が示唆されている。
論文 参考訳(メタデータ) (2023-03-19T04:00:05Z) - Dataset Creation Pipeline for Camera-Based Heart Rate Estimation [0.3058685580689604]
心拍数(Heart rate)は、様々な人間の生理的、心理的情報に対する直感を調査し得る最も重要な健康指標の1つである。
従来の画像処理から複雑なディープラーニングモデルやアーキテクチャまで,様々なカメラベース心拍推定技術が開発されている。
本稿では,顔領域の画像から心拍数推定のためのアルゴリズムや機械学習モデルを開発するためのデータ作成方法について論じる。
論文 参考訳(メタデータ) (2023-03-02T18:28:29Z) - Differentiable Frequency-based Disentanglement for Aerial Video Action
Recognition [56.91538445510214]
ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。
我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。
我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2022-09-15T22:16:52Z) - Extrinsic Camera Calibration with Semantic Segmentation [60.330549990863624]
本稿では,セグメンテーション情報を利用してパラメータ推定を自動化する,外部カメラキャリブレーション手法を提案する。
われわれのアプローチは、カメラのポーズの粗い初期測定と、車両に搭載されたライダーセンサーによる構築に依存している。
シミュレーションおよび実世界のデータを用いて,キャリブレーション結果の低誤差測定を行う。
論文 参考訳(メタデータ) (2022-08-08T07:25:03Z) - Heart rate estimation in intense exercise videos [12.117553807794383]
既存の作業は、顔追跡によってある程度の動作で心拍数を確実に測定することができる。
IntensePhysioは、ビデオ心拍数推定データセットである。
本手法では,既存の遠隔胸腔鏡撮影法では心拍数推定が困難であることが示唆された。
論文 参考訳(メタデータ) (2022-08-04T07:42:40Z) - MobilePhys: Personalized Mobile Camera-Based Contactless Physiological
Sensing [14.459848038276183]
MobilePhysは,初の移動型リモート生理センシングシステムである。
MobilePhysは、パーソナライズされたコンタクトレスカメラベースのPSGモデルをトレーニングするための高品質なセルフ教師付きラベルを生成する。
以上の結果から,MobilePhysはデバイス上での教師付きトレーニングや少数ショット適応手法よりも優れていた。
論文 参考訳(メタデータ) (2022-01-11T16:34:39Z) - Is Space-Time Attention All You Need for Video Understanding? [50.78676438502343]
空間と時間の自己意識にのみ焦点をあてた畳み込みのないアプローチを提案する。
TimeSformer"は、フレームレベルのパッチのシーケンスから特徴学習を可能にすることで、標準のTransformerアーキテクチャをビデオに適応させる。
TimeSformerは、いくつかの主要なアクション認識ベンチマークで最先端の結果を達成する。
論文 参考訳(メタデータ) (2021-02-09T19:49:33Z) - A Supervised Learning Approach for Robust Health Monitoring using Face
Videos [32.157163136267954]
非接触型非接触型人体検知法は、特殊な心臓および血圧モニタリング装置の必要性をなくすことができる。
本稿では,市販のウェブカメラで撮影する顔ビデオのみを必要とする非接触方式を用いた。
提案手法では,顔のランドマークを用いて映像の各フレームの顔を検出する。
論文 参考訳(メタデータ) (2021-01-30T22:03:16Z) - Self-Supervised Human Depth Estimation from Monocular Videos [99.39414134919117]
人間の深度を推定する従来の方法は、しばしば地上の真実の深度データを用いた教師あり訓練を必要とする。
本稿では,YouTubeビデオの奥行きを知ることなく,自己指導型手法を提案する。
実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-05-07T09:45:11Z) - Motion-Excited Sampler: Video Adversarial Attack with Sparked Prior [63.11478060678794]
そこで本研究では,前もってモーションアウェアノイズを得るための効果的なモーションエキサイティングサンプリング手法を提案する。
より少ないクエリ数で様々なビデオ分類モデルを攻撃することができる。
論文 参考訳(メタデータ) (2020-03-17T10:54:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。