Fugu-MT 論文翻訳(概要): Self-Supervised Learning Framework for Remote Heart Rate Estimation Using Spatiotemporal Augmentation

論文の概要: Self-Supervised Learning Framework for Remote Heart Rate Estimation Using Spatiotemporal Augmentation

arxiv url: http://arxiv.org/abs/2107.07695v1
Date: Fri, 16 Jul 2021 04:00:13 GMT
ステータス: 処理完了
システム内更新日: 2021-07-19 22:59:31.331112
Title: Self-Supervised Learning Framework for Remote Heart Rate Estimation Using Spatiotemporal Augmentation
Title（参考訳）: 時空間拡張を用いた遠隔心拍推定のための自己監督学習フレームワーク
Authors: Hao Wang, Euijoon Ahn, Jinman Kim
Abstract要約: 近年の深層学習法では、顔画像を用いて心拍数をリモートで測定できることが示されている。顔画像におけるリモートHR推定のための3次元自己教師型学習フレームワークを提案する。
参考スコア（独自算出の注目度）: 12.783744603679942
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent supervised deep learning methods have shown that heart rate can be measured remotely using facial videos. However, the performance of these supervised method are dependent on the availability of large-scale labelled data and they have been limited to 2D deep learning architectures that do not fully exploit the 3D spatiotemporal information. To solve this problem, we present a novel 3D self-supervised spatiotemporal learning framework for remote HR estimation on facial videos. Concretely, we propose a landmark-based spatial augmentation which splits the face into several informative parts based on the Shafer's dichromatic reflection model and a novel sparsity-based temporal augmentation exploiting Nyquist-Shannon sampling theorem to enhance the signal modelling ability. We evaluated our method on 3 public datasets and outperformed other self-supervised methods and achieved competitive accuracy with the state-of-the-art supervised methods.
Abstract（参考訳）: 最近の教師付き深層学習法では、顔画像を用いて心拍数をリモートで測定できることが示されている。しかし、これらの教師付き手法の性能は、大規模ラベル付きデータの可用性に依存しており、3次元時空間情報を十分に活用しない2次元ディープラーニングアーキテクチャに限られている。この問題を解決するために,顔画像上でのリモートHR推定のための3次元自己教師付き時空間学習フレームワークを提案する。具体的には,シェーファーの2色反射モデルと,Nyquist-Shannonサンプリング定理を利用して信号モデリング能力を向上させる新しい空間拡張法により,顔を複数の情報部分に分割するランドマークベース空間拡張法を提案する。提案手法を3つの公開データセットで評価し,他の自己教師あり手法を上回り,最先端教師付き手法と競合する精度を得た。

関連論文リスト

STGFormer: Spatio-Temporal GraphFormer for 3D Human Pose Estimation in Video [7.345621536750547]
本稿では,映像中の3次元ポーズ推定のためのグラフベースのフレームワークを提案する。具体的には,各アテンション層に直接グラフ情報を統合するグラフベースのアテンションメカニズムを開発する。提案手法は,3次元人物のポーズ推定において,最先端の性能を実現することを実証する。
論文参考訳（メタデータ） (2024-07-14T06:45:27Z)
RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文参考訳（メタデータ） (2023-12-19T03:39:56Z)
Remote Heart Rate Monitoring in Smart Environments from Videos with Self-supervised Pre-training [28.404118669462772]
本稿では,自己指導型コントラスト学習を用いて遠隔光麻痺(モグラフィ)と心拍モニタリングを推定する手法を提案する。コントラストフレームワークを用いてエンコーダを訓練するための3つの空間的および3つの時間的拡張法を提案する。
論文参考訳（メタデータ） (2023-10-23T22:41:04Z)
Promoting Generalization in Cross-Dataset Remote Photoplethysmography [1.422288795020666]
リモート・フォトプレソグラフィー(Remote Photoplethysmography)は、カメラを使って被験者の心拍数をリモートでモニタリングする手法で、手作りの技法からディープラーニングモデルへと変化してきた。これらのモデルでは、トレーニングデータセットに固有のパルス波の特徴に対するバイアスを学習する傾向がある。我々は、トレーニング中にモデルが見る心拍数の範囲と変動率を拡大することにより、学習バイアスを増大させ、モデル収束を改善した。
論文参考訳（メタデータ） (2023-05-24T14:35:54Z)
On Triangulation as a Form of Self-Supervision for 3D Human Pose Estimation [57.766049538913926]
ラベル付きデータが豊富である場合, 単一画像からの3次元ポーズ推定に対する改良されたアプローチは, 極めて効果的である。最近の注目の多くは、セミと(あるいは)弱い教師付き学習に移行している。本稿では,多視点の幾何学的制約を,識別可能な三角測量を用いて課し,ラベルがない場合の自己監督の形式として用いることを提案する。
論文参考訳（メタデータ） (2022-03-29T19:11:54Z)
Self-Attentive 3D Human Pose and Shape Estimation from Videos [82.63503361008607]
3D人間のポーズと形状推定のためのビデオベースの学習アルゴリズムを紹介します。ビデオの時間情報を利用して自己着脱モジュールを提案する。本手法を3DPW, MPI-INF-3DHP, Human3.6Mデータセット上で評価した。
論文参考訳（メタデータ） (2021-03-26T00:02:19Z)
Enhanced 3D Human Pose Estimation from Videos by using Attention-Based Neural Network with Dilated Convolutions [12.900524511984798]
従来のネットワークや制約の形式が、どのように注意の枠組みに組み込むことができるのかを体系的な設計で示します。拡張畳み込みのマルチスケール構造により,時間受容場を適応させることにより,これを実現する。提案手法は,Human3.6Mデータセット上での関節位置誤差の平均を33.4mmに減らし,最先端性能を達成し,既存の手法よりも優れる。
論文参考訳（メタデータ） (2021-03-04T17:26:51Z)
Unsupervised Domain Adaptation with Temporal-Consistent Self-Training for 3D Hand-Object Joint Reconstruction [131.34795312667026]
サイクル生成逆数ネットワーク(CycleGAN)内の3次元幾何学的制約を利用してこの問題に対処する効果的なアプローチを提案する。既存のほとんどの研究とは対照的に、ドメイン適応モデルを自己管理的に微調整するために、短期的および長期的時間的整合性を強制することを提案する。本研究では,3つのベンチマークを用いて,最先端の3Dハンドオブジェ共同再建手法を上回っていることを実証する。
論文参考訳（メタデータ） (2020-12-21T11:27:56Z)
Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
一つのビデオから多視点深度を推定する新しい手法を提案する。提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
論文参考訳（メタデータ） (2020-11-26T04:04:21Z)
Self-Supervised Human Depth Estimation from Monocular Videos [99.39414134919117]
人間の深度を推定する従来の方法は、しばしば地上の真実の深度データを用いた教師あり訓練を必要とする。本稿では,YouTubeビデオの奥行きを知ることなく,自己指導型手法を提案する。実験により,本手法はより一般化され,野生のデータに対してより優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2020-05-07T09:45:11Z)
A Graph Attention Spatio-temporal Convolutional Network for 3D Human Pose Estimation in Video [7.647599484103065]
我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
論文参考訳（メタデータ） (2020-03-11T14:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。