論文の概要: Motion Matters: Neural Motion Transfer for Better Camera Physiological
Measurement
- arxiv url: http://arxiv.org/abs/2303.12059v4
- Date: Mon, 6 Nov 2023 09:32:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 23:19:15.883577
- Title: Motion Matters: Neural Motion Transfer for Better Camera Physiological
Measurement
- Title(参考訳): モーションマター: カメラの生理的改善のためのニューラルモーショントランスファー
- Authors: Akshay Paruchuri, Xin Liu, Yulu Pan, Shwetak Patel, Daniel McDuff,
Soumyadip Sengupta
- Abstract要約: 身体の動きは、ビデオから微妙な心臓の脈を回復しようとするとき、最も重要なノイズ源の1つである。
我々は,遠隔光合成のタスクのために,ニューラルビデオ合成アプローチをビデオの拡張に適用する。
各種の最先端手法を用いて,既存のデータセット間結果よりも47%向上したことを示す。
- 参考スコア(独自算出の注目度): 25.27559386977351
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models for camera-based physiological measurement can have
weak generalization due to a lack of representative training data. Body motion
is one of the most significant sources of noise when attempting to recover the
subtle cardiac pulse from a video. We explore motion transfer as a form of data
augmentation to introduce motion variation while preserving physiological
changes of interest. We adapt a neural video synthesis approach to augment
videos for the task of remote photoplethysmography (rPPG) and study the effects
of motion augmentation with respect to 1) the magnitude and 2) the type of
motion. After training on motion-augmented versions of publicly available
datasets, we demonstrate a 47% improvement over existing inter-dataset results
using various state-of-the-art methods on the PURE dataset. We also present
inter-dataset results on five benchmark datasets to show improvements of up to
79% using TS-CAN, a neural rPPG estimation method. Our findings illustrate the
usefulness of motion transfer as a data augmentation technique for improving
the generalization of models for camera-based physiological sensing. We release
our code for using motion transfer as a data augmentation technique on three
publicly available datasets, UBFC-rPPG, PURE, and SCAMPS, and models
pre-trained on motion-augmented data here: https://motion-matters.github.io/
- Abstract(参考訳): カメラに基づく生理学的測定のための機械学習モデルは、代表的なトレーニングデータがないため、弱い一般化が可能である。
身体の動きは、ビデオから微妙な脈拍を回復しようとするときに最も重要なノイズ源の1つである。
我々は,興味の生理的変化を保ちながら,動きの変動を導入するデータ拡張の一形態として,運動伝達を考察する。
遠隔光胸シンモグラフィ (rppg) の課題における映像強調のためのニューラルビデオ合成手法を適用し, 運動増強の効果について検討した。
1)規模及び規模
2)運動の種類。
公開データセットの動作強化バージョンをトレーニングした後、PUREデータセットのさまざまな最先端メソッドを使用して、既存のデータセット間結果よりも47%改善されていることを示す。
また, TS-CANを用いて, 5つのベンチマークデータセットのデータセット間比較を行い, 最大79%の改善率を示す。
本研究は, カメラを用いた生理学的センシングモデルの改良のためのデータ拡張手法として, モーショントランスファーの有用性を示す。
我々は3つの公開データセット(UBFC-rPPG、PURE、SCAMPS)上のデータ拡張技術としてモーション転送を使用するためのコードをリリースした。
関連論文リスト
- 3D Kinematics Estimation from Video with a Biomechanical Model and
Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。
実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-02-20T17:33:40Z) - Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for
Enhanced Human Pose Estimation with Sparse Inertial Sensors [17.3834029178939]
本稿では,スパース慣性センサを用いた人間のポーズ推定手法を提案する。
さまざまなスケルトンフォーマットからの多様な実慣性モーションキャプチャデータを活用して、動作の多様性とモデル一般化を改善する。
このアプローチは、5つのパブリックデータセットにわたる最先端モデルよりも優れたパフォーマンスを示し、特にDIP-IMUデータセットのポーズエラーを19%削減する。
論文 参考訳(メタデータ) (2023-12-02T13:17:10Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-06-05T04:24:11Z) - DiffMesh: A Motion-aware Diffusion-like Framework for Human Mesh
Recovery from Videos [51.32026590626831]
ヒューマンメッシュリカバリ(Human Mesh recovery, HMR)は、さまざまな現実世界のアプリケーションに対して、リッチな人体情報を提供する。
ビデオベースのアプローチはこの問題を緩和するために時間的情報を活用する。
DiffMeshはビデオベースのHMRのための革新的な動き認識型拡散型フレームワークである。
論文 参考訳(メタデータ) (2023-03-23T16:15:18Z) - MotionAug: Augmentation with Physical Correction for Human Motion
Prediction [19.240717471864723]
本稿では,動き合成を取り入れた動きデータ拡張手法を提案する。
提案手法は,リカレントニューラルネットワークとグラフ畳み込みネットワークを併用した人間の動き予測モデルにおいて,従来の雑音に基づく動き増進手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-03-17T06:53:15Z) - The influence of labeling techniques in classifying human manipulation
movement of different speed [2.9972063833424216]
マーカーを用いたモーションキャプチャーシステムを用いて記録したデータに対して,ラベル付け手法が人間の動作の分類に与える影響について検討した。
このデータセットは2つの異なるアプローチを用いてラベル付けされる。1つは動きのビデオデータに基づくもので、もう1つはモーションキャプチャシステムを用いて記録された動き軌跡に基づくものである。
論文 参考訳(メタデータ) (2022-02-04T23:04:22Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳(メタデータ) (2021-11-23T18:57:11Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳(メタデータ) (2021-11-01T15:32:51Z) - Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。
提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。
その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-09-21T01:57:54Z) - HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。
モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。
本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
論文 参考訳(メタデータ) (2021-05-10T21:04:55Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。