論文の概要: MobilePhys: Personalized Mobile Camera-Based Contactless Physiological Sensing

• arxiv url: http://arxiv.org/abs/2201.04039v1
• Date: Tue, 11 Jan 2022 16:34:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-12 14:39:55.657156
• Title: MobilePhys: Personalized Mobile Camera-Based Contactless Physiological Sensing
• Title（参考訳）: MobilePhys: パーソナライズされたカメラベースのコンタクトレス生理的センシング
• Authors: Xin Liu, Yuntao Wang, Sinan Xie, Xiaoyu Zhang, Zixian Ma, Daniel McDuff, Shwetak Patel
• Abstract要約: MobilePhysは,初の移動型リモート生理センシングシステムである。 MobilePhysは、パーソナライズされたコンタクトレスカメラベースのPSGモデルをトレーニングするための高品質なセルフ教師付きラベルを生成する。 以上の結果から,MobilePhysはデバイス上での教師付きトレーニングや少数ショット適応手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 14.459848038276183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Camera-based contactless photoplethysmography refers to a set of popular techniques for contactless physiological measurement. The current state-of-the-art neural models are typically trained in a supervised manner using videos accompanied by gold standard physiological measurements. However, they often generalize poorly out-of-domain examples (i.e., videos that are unlike those in the training set). Personalizing models can help improve model generalizability, but many personalization techniques still require some gold standard data. To help alleviate this dependency, in this paper, we present a novel mobile sensing system called MobilePhys, the first mobile personalized remote physiological sensing system, that leverages both front and rear cameras on a smartphone to generate high-quality self-supervised labels for training personalized contactless camera-based PPG models. To evaluate the robustness of MobilePhys, we conducted a user study with 39 participants who completed a set of tasks under different mobile devices, lighting conditions/intensities, motion tasks, and skin types. Our results show that MobilePhys significantly outperforms the state-of-the-art on-device supervised training and few-shot adaptation methods. Through extensive user studies, we further examine how does MobilePhys perform in complex real-world settings. We envision that calibrated or personalized camera-based contactless PPG models generated from our proposed dual-camera mobile sensing system will open the door for numerous future applications such as smart mirrors, fitness and mobile health applications.
• Abstract（参考訳）: カメラベースのコンタクトレスフォトプレチモグラフィ(英: contactless photoplethysmography)は、コンタクトレス生理測定のための一般的な技術である。 現在の最先端のニューラルモデルは通常、金の標準的な生理学的測定を伴うビデオを使用して教師ありの方法で訓練される。 しかし、多くの場合、ドメイン外の例(トレーニングセットと異なるビデオ)を一般化する。 パーソナライズモデルはモデルの一般化性を改善するのに役立つが、多くのパーソナライズ技術は金の標準データを必要とする。 そこで本稿では,スマートフォンの前面カメラと背面カメラの両方を利用して,パーソナライズされたコンタクトレスカメラベースのppgモデルをトレーニングするための高品質な自己教師付きラベルを生成する,モバイルパーソナライズ型リモート生理センシングシステムmobilephysを提案する。 MobilePhysのロバスト性を評価するために,異なるモバイルデバイス,照明条件/強度,動作タスク,皮膚タイプでタスクセットを完了した39名の被験者を対象に,ユーザスタディを行った。 以上の結果から,MobilePhysはデバイス上での教師付きトレーニングや少数ショット適応手法よりも優れていた。 広範なユーザ研究を通じて,MobilePhysは複雑な実世界の環境でどのように機能するかをさらに検討する。 提案するデュアルカメラ・モバイルセンシングシステムから生成したカメラベースコンタクトレスppgモデルのキャリブレーションやパーソナライズによるppgモデルは,スマートミラーやフィットネス,モバイルヘルスアプリケーションなど,将来の多くのアプリケーションへの扉を開くだろう。

関連論文リスト

• MobilePortrait: Real-Time One-Shot Neural Head Avatars on Mobile Devices [16.489105620313065]
  MobilePortraitは、モーションモデリングと画像合成の両方に外部知識を統合することで、学習の複雑さを低減するワンショットのニューラルヘッドアバター手法である。 計算要求の10分の1未満で最先端のパフォーマンスを達成する。 モバイルデバイス上で100 FPS以上の速度に到達し、ビデオおよびオーディオ駆動のインプットをサポートすることが検証されている。
  論文  参考訳（メタデータ） (2024-07-08T08:12:57Z)
• CalibrationPhys: Self-supervised Video-based Heart and Respiratory Rate Measurements by Calibrating Between Multiple Cameras [6.138671548064356]
  複数のカメラ間を校正する自己監督型ビデオベース心拍・呼吸速度測定法を提案する。 Physは、複数のカメラで同時に撮影された顔ビデオを使って、ラベルを監督せずにディープラーニングモデルを訓練する。 実験の結果,Physは最先端の心臓および呼吸速度測定法より優れていた。
  論文  参考訳（メタデータ） (2023-10-23T15:46:39Z)
• MicroISP: Processing 32MP Photos on Mobile Devices with Deep Learning [114.66037224769005]
  エッジデバイスに特化して設計された新しいMicroISPモデルを提案する。 提案したソリューションは,モバイルMLライブラリを使用して,最新のスマートフォン上で最大32MPの写真を処理できる。 モデルのアーキテクチャは柔軟で、計算能力の異なるデバイスに複雑性を調整することができる。
  論文  参考訳（メタデータ） (2022-11-08T17:40:50Z)
• Fast and Robust Video-Based Exercise Classification via Body Pose Tracking and Scalable Multivariate Time Series Classifiers [13.561233730881279]
  本稿では,ビデオを用いたS&C演習の分類の応用について述べる。 そこで本研究では,BodyMTSという手法を用いて,映像を時系列に変換する手法を提案する。 その結果,BodyMTSの平均精度は87%であり,これはヒトドメインの専門家の精度よりも有意に高いことがわかった。
  論文  参考訳（メタデータ） (2022-10-02T13:03:38Z)
• Federated Remote Physiological Measurement with Imperfect Data [10.989271258156883]
  高齢化と新型コロナウイルス(COVID-19)のパンデミックによって、遠隔医療を支える技術の必要性が高まっている。 健康関連機械学習アプリケーションでは、データがプライベートデバイスを離れることなく予測モデルを学習する能力は魅力的である。 カメラによる遠隔生理的センシングは、スケーラブルで低コストな測定を容易にする。
  論文  参考訳（メタデータ） (2022-03-11T05:26:46Z)
• MobileFaceSwap: A Lightweight Framework for Video Face Swapping [56.87690462046143]
  主観的顔交換のための軽量IDN(IDN)を提案する。 提示されたIDNは0.50Mパラメータのみを含み、1フレームあたり0.33GのFLOPを必要とするため、携帯電話でリアルタイムのビデオ顔交換が可能である。
  論文  参考訳（メタデータ） (2022-01-11T06:48:12Z)
• Human Performance Capture from Monocular Video in the Wild [50.34917313325813]
  本研究では,挑戦的な身体ポーズを特徴とするモノクロ映像から動的3次元人体形状をキャプチャする手法を提案する。 本手法は,現在開発中の3DPWビデオデータセットにおいて,最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2021-11-29T16:32:41Z)
• Which priors matter? Benchmarking models for learning latent dynamics [70.88999063639146]
  古典力学の先行概念を機械学習モデルに統合する手法が提案されている。 これらのモデルの現在の機能について、精査する。 連続的および時間的可逆的ダイナミクスの使用は、すべてのクラスのモデルに恩恵をもたらす。
  論文  参考訳（メタデータ） (2021-11-09T23:48:21Z)
• Learning Local Recurrent Models for Human Mesh Recovery [50.85467243778406]
  本稿では,人間のメッシュを標準的な骨格モデルに従って複数の局所的に分割するビデオメッシュ復元手法を提案する。 次に、各局所部分の力学を別個のリカレントモデルでモデル化し、各モデルは、人体の既知の運動構造に基づいて適切に条件付けする。 これにより、構造的インフォームドな局所的再帰学習アーキテクチャが実現され、アノテーションを使ってエンドツーエンドでトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-07-27T14:30:33Z)
• Augment Yourself: Mixed Reality Self-Augmentation Using Optical See-through Head-mounted Displays and Physical Mirrors [49.49841698372575]
  光シークレットヘッドマウントディスプレイ(OST HMD)は、仮想オブジェクトと物理シーンを融合して、没入型複合現実(MR)環境をユーザに提供するための重要な技術のひとつです。 我々は,OST HMDと物理ミラーを組み合わせて自己拡張を実現し,ユーザを中心とした没入型MR環境を提供する,新しいコンセプトとプロトタイプシステムを提案する。 我々のシステムでは、まず第一に、HMDに取り付けられたRGBDカメラを用いて鏡によって生成された仮想画像中のユーザのポーズを推定し、仮想オブジェクトを反射に固定する。
  論文  参考訳（メタデータ） (2020-07-06T16:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。