論文の概要: Motion Matters: Neural Motion Transfer for Better Camera Physiological
Sensing
- arxiv url: http://arxiv.org/abs/2303.12059v1
- Date: Tue, 21 Mar 2023 17:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 13:54:41.969936
- Title: Motion Matters: Neural Motion Transfer for Better Camera Physiological
Sensing
- Title(参考訳): モーションマター:より優れたカメラ生理センシングのためのニューラルモーショントランスファー
- Authors: Akshay Paruchuri, Xin Liu, Yulu Pan, Shwetak Patel, Daniel McDuff,
Soumyadip Sengupta
- Abstract要約: 身体の動きは、ビデオから微妙な心臓の脈を回復しようとするとき、最も重要なノイズ源の1つである。
遠隔写真撮影(モグラフィー)のタスクにニューラルビデオ合成アプローチを適用し,1)大きさ,2)動きの変化の種類に対する運動増強の効果について検討した。
公開データセットのモーション強化バージョンをトレーニングした後、5つのベンチマークデータセットに示されたデータセット間の結果は、既存の結果よりも最大75%改善されていることを示している。
- 参考スコア(独自算出の注目度): 11.815031559480142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models for camera-based physiological measurement can have
weak generalization due to a lack of representative training data. Body motion
is one of the most significant sources of noise when attempting to recover the
subtle cardiac pulse from a video. We explore motion transfer as a form of data
augmentation to introduce motion variation while preserving physiological
changes. We adapt a neural video synthesis approach to augment videos for the
task of remote photoplethysmography (PPG) and study the effects of motion
augmentation with respect to 1) the magnitude and 2) the type of motion. After
training on motion-augmented versions of publicly available datasets, the
presented inter-dataset results on five benchmark datasets show improvements of
up to 75% over existing state-of-the-art results. Our findings illustrate the
utility of motion transfer as a data augmentation technique for improving the
generalization of models for camera-based physiological sensing. We release our
code and pre-trained models for using motion transfer as a data augmentation
technique on our project page: https://motion-matters.github.io/
- Abstract(参考訳): カメラに基づく生理学的測定のための機械学習モデルは、代表的なトレーニングデータがないため、弱い一般化が可能である。
身体の動きは、ビデオから微妙な脈拍を回復しようとするときに最も重要なノイズ源の1つである。
身体的変化を保ちながら運動の変動を導入するデータ拡張の一形態として,運動伝達を考察する。
遠隔光胸シンモグラフィ (ppg) の課題における映像強調にニューラルビデオ合成法を適用し, 運動増強の効果について検討した。
1)規模及び規模
2)運動の種類。
公開データセットのモーション指定バージョンをトレーニングした結果、5つのベンチマークデータセットのデータセット間の結果が、既存の最新データに対して最大75%の改善を示している。
本研究は, カメラを用いた生理学的センシングモデルの改良のためのデータ拡張手法として, モーショントランスファーの有用性を示す。
プロジェクトページで、モーション転送をデータ拡張テクニックとして使用するためのコードと事前トレーニング済みのモデルをリリースします。
関連論文リスト
- 3D Kinematics Estimation from Video with a Biomechanical Model and
Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。
実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2024-02-20T17:33:40Z) - Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for
Enhanced Human Pose Estimation with Sparse Inertial Sensors [17.3834029178939]
本稿では,スパース慣性センサを用いた人間のポーズ推定手法を提案する。
さまざまなスケルトンフォーマットからの多様な実慣性モーションキャプチャデータを活用して、動作の多様性とモデル一般化を改善する。
このアプローチは、5つのパブリックデータセットにわたる最先端モデルよりも優れたパフォーマンスを示し、特にDIP-IMUデータセットのポーズエラーを19%削減する。
論文 参考訳(メタデータ) (2023-12-02T13:17:10Z) - MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。
実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-06-05T04:24:11Z) - DiffMesh: A Motion-aware Diffusion-like Framework for Human Mesh
Recovery from Videos [51.32026590626831]
ヒューマンメッシュリカバリ(Human Mesh recovery, HMR)は、さまざまな現実世界のアプリケーションに対して、リッチな人体情報を提供する。
ビデオベースのアプローチはこの問題を緩和するために時間的情報を活用する。
DiffMeshはビデオベースのHMRのための革新的な動き認識型拡散型フレームワークである。
論文 参考訳(メタデータ) (2023-03-23T16:15:18Z) - MotionAug: Augmentation with Physical Correction for Human Motion
Prediction [19.240717471864723]
本稿では,動き合成を取り入れた動きデータ拡張手法を提案する。
提案手法は,リカレントニューラルネットワークとグラフ畳み込みネットワークを併用した人間の動き予測モデルにおいて,従来の雑音に基づく動き増進手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-03-17T06:53:15Z) - The influence of labeling techniques in classifying human manipulation
movement of different speed [2.9972063833424216]
マーカーを用いたモーションキャプチャーシステムを用いて記録したデータに対して,ラベル付け手法が人間の動作の分類に与える影響について検討した。
このデータセットは2つの異なるアプローチを用いてラベル付けされる。1つは動きのビデオデータに基づくもので、もう1つはモーションキャプチャシステムを用いて記録された動き軌跡に基づくものである。
論文 参考訳(メタデータ) (2022-02-04T23:04:22Z) - PhysFormer: Facial Video-based Physiological Measurement with Temporal
Difference Transformer [55.936527926778695]
近年のディープラーニングアプローチは、時間的受容の限られた畳み込みニューラルネットワークを用いた微妙なrの手がかりのマイニングに重点を置いている。
本稿では,エンドツーエンドのビデオトランスをベースとしたアーキテクチャであるPhysFormerを提案する。
論文 参考訳(メタデータ) (2021-11-23T18:57:11Z) - Render In-between: Motion Guided Video Synthesis for Action
Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。
大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。
私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文 参考訳(メタデータ) (2021-11-01T15:32:51Z) - Physics-based Human Motion Estimation and Synthesis from Videos [0.0]
単眼のRGBビデオから直接、身体的に可視な人間の動きの生成モデルを訓練するための枠組みを提案する。
提案手法のコアとなるのは,不完全な画像に基づくポーズ推定を補正する新しい最適化式である。
その結果,我々の身体的補正動作は,ポーズ推定における先行作業よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-09-21T01:57:54Z) - HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。
モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。
本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
論文 参考訳(メタデータ) (2021-05-10T21:04:55Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。