Fugu-MT 論文翻訳(概要): Motion Matters: Neural Motion Transfer for Better Camera Physiological Measurement

論文の概要: Motion Matters: Neural Motion Transfer for Better Camera Physiological Measurement

arxiv url: http://arxiv.org/abs/2303.12059v4
Date: Mon, 6 Nov 2023 09:32:19 GMT
ステータス: 処理完了
システム内更新日: 2023-11-07 23:19:15.883577
Title: Motion Matters: Neural Motion Transfer for Better Camera Physiological Measurement
Title（参考訳）: モーションマター: カメラの生理的改善のためのニューラルモーショントランスファー
Authors: Akshay Paruchuri, Xin Liu, Yulu Pan, Shwetak Patel, Daniel McDuff, Soumyadip Sengupta
Abstract要約: 身体の動きは、ビデオから微妙な心臓の脈を回復しようとするとき、最も重要なノイズ源の1つである。我々は,遠隔光合成のタスクのために,ニューラルビデオ合成アプローチをビデオの拡張に適用する。各種の最先端手法を用いて,既存のデータセット間結果よりも47%向上したことを示す。
参考スコア（独自算出の注目度）: 25.27559386977351
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Machine learning models for camera-based physiological measurement can have weak generalization due to a lack of representative training data. Body motion is one of the most significant sources of noise when attempting to recover the subtle cardiac pulse from a video. We explore motion transfer as a form of data augmentation to introduce motion variation while preserving physiological changes of interest. We adapt a neural video synthesis approach to augment videos for the task of remote photoplethysmography (rPPG) and study the effects of motion augmentation with respect to 1) the magnitude and 2) the type of motion. After training on motion-augmented versions of publicly available datasets, we demonstrate a 47% improvement over existing inter-dataset results using various state-of-the-art methods on the PURE dataset. We also present inter-dataset results on five benchmark datasets to show improvements of up to 79% using TS-CAN, a neural rPPG estimation method. Our findings illustrate the usefulness of motion transfer as a data augmentation technique for improving the generalization of models for camera-based physiological sensing. We release our code for using motion transfer as a data augmentation technique on three publicly available datasets, UBFC-rPPG, PURE, and SCAMPS, and models pre-trained on motion-augmented data here: https://motion-matters.github.io/
Abstract（参考訳）: カメラに基づく生理学的測定のための機械学習モデルは、代表的なトレーニングデータがないため、弱い一般化が可能である。身体の動きは、ビデオから微妙な脈拍を回復しようとするときに最も重要なノイズ源の1つである。我々は,興味の生理的変化を保ちながら,動きの変動を導入するデータ拡張の一形態として,運動伝達を考察する。遠隔光胸シンモグラフィ (rppg) の課題における映像強調のためのニューラルビデオ合成手法を適用し, 運動増強の効果について検討した。 1)規模及び規模 2)運動の種類。公開データセットの動作強化バージョンをトレーニングした後、PUREデータセットのさまざまな最先端メソッドを使用して、既存のデータセット間結果よりも47%改善されていることを示す。また, TS-CANを用いて, 5つのベンチマークデータセットのデータセット間比較を行い, 最大79%の改善率を示す。本研究は, カメラを用いた生理学的センシングモデルの改良のためのデータ拡張手法として, モーショントランスファーの有用性を示す。我々は3つの公開データセット(UBFC-rPPG、PURE、SCAMPS)上のデータ拡張技術としてモーション転送を使用するためのコードをリリースした。

関連論文リスト

E-Motion: Future Motion Simulation via Event Sequence Diffusion [86.80533612211502]
イベントベースのセンサーは、これまで達成できなかった詳細と精度で将来の動きを予測するユニークな機会を提供する可能性がある。本稿では,映像拡散モデルの強力な学習能力とイベントカメラのリッチな動作情報とを,モーションシミュレーションフレームワークとして統合することを提案する。本研究は,コンピュータビジョンシステムの解釈能力と予測精度の向上に向けた今後の研究の方向性を示唆するものである。
論文参考訳（メタデータ） (2024-10-11T09:19:23Z)
Quo Vadis, Motion Generation? From Large Language Models to Large Motion Models [70.78051873517285]
我々は、最初の100万レベルのモーション生成ベンチマークであるMotionBaseを紹介する。この膨大なデータセットを活用することで、我々の大きな動きモデルは幅広い動きに対して強いパフォーマンスを示す。動作情報を保存し,コードブックの容量を拡大する,モーショントークン化のための新しい2次元ルックアップフリーアプローチを提案する。
論文参考訳（メタデータ） (2024-10-04T10:48:54Z)
Exploring Vision Transformers for 3D Human Motion-Language Models with Motion Patches [12.221087476416056]
動き系列の新しい表現である「動きパッチ」を導入し、移動学習を通して視覚変換器(ViT)をモーションエンコーダとして用いることを提案する。これらの動きパッチは、運動配列に基づく骨格関節の分割と分類によって作成され、様々な骨格構造に対して堅牢である。 2次元画像データを用いたトレーニングにより得られたViTの事前学習による伝達学習により,動作解析の性能が向上することが判明した。
論文参考訳（メタデータ） (2024-05-08T02:42:27Z)
Orientation-conditioned Facial Texture Mapping for Video-based Facial Remote Photoplethysmography Estimation [23.199005573530194]
我々は3次元顔表面を利用して、新しい配向条件付き映像表現を構築する。提案手法は,MMPD上でのクロスデータセットテストにおいて,18.2%の性能向上を実現する。テストされたすべてのシナリオにおいて、29.6%の大幅なパフォーマンス向上が示されている。
論文参考訳（メタデータ） (2024-04-14T23:30:35Z)
3D Kinematics Estimation from Video with a Biomechanical Model and Synthetic Training Data [4.130944152992895]
2つの入力ビューから3Dキネマティクスを直接出力するバイオメカニクス対応ネットワークを提案する。実験により, 提案手法は, 合成データにのみ訓練されたものであり, 従来の最先端手法よりも優れていることが示された。
論文参考訳（メタデータ） (2024-02-20T17:33:40Z)
Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for Enhanced Human Pose Estimation with Sparse Inertial Sensors [17.3834029178939]
本稿では,スパース慣性センサを用いた人間のポーズ推定手法を提案する。さまざまなスケルトンフォーマットからの多様な実慣性モーションキャプチャデータを活用して、動作の多様性とモデル一般化を改善する。このアプローチは、5つのパブリックデータセットにわたる最先端モデルよりも優れたパフォーマンスを示し、特にDIP-IMUデータセットのポーズエラーを19%削減する。
論文参考訳（メタデータ） (2023-12-02T13:17:10Z)
MotionTrack: Learning Motion Predictor for Multiple Object Tracking [68.68339102749358]
本研究では,学習可能なモーション予測器を中心に,新しいモーショントラッカーであるMotionTrackを紹介する。実験結果から、MotionTrackはDancetrackやSportsMOTといったデータセット上での最先端のパフォーマンスを示す。
論文参考訳（メタデータ） (2023-06-05T04:24:11Z)
MotionAug: Augmentation with Physical Correction for Human Motion Prediction [19.240717471864723]
本稿では,動き合成を取り入れた動きデータ拡張手法を提案する。提案手法は,リカレントニューラルネットワークとグラフ畳み込みネットワークを併用した人間の動き予測モデルにおいて,従来の雑音に基づく動き増進手法よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-03-17T06:53:15Z)
Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
論文参考訳（メタデータ） (2021-11-01T15:32:51Z)
HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
論文参考訳（メタデータ） (2021-05-10T21:04:55Z)
Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。 2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文参考訳（メタデータ） (2021-01-11T04:20:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。