論文の概要: ReMP: Reusable Motion Prior for Multi-domain 3D Human Pose Estimation and Motion Inbetweening

• arxiv url: http://arxiv.org/abs/2411.09435v1
• Date: Wed, 13 Nov 2024 02:42:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:24:31.590921
• Title: ReMP: Reusable Motion Prior for Multi-domain 3D Human Pose Estimation and Motion Inbetweening
• Title（参考訳）: ReMP: マルチドメイン3次元人物の姿勢推定と動きのインタイニングに先立つ再利用可能な動き
• Authors: Hojun Jang, Young Min Kim,
• Abstract要約: 我々は人体形状の完全なパラメトリックモデルの前列からリッチな動きを学習する。 我々の前者は、フレーム不足やノイズ測定で簡単にポーズを推定できる。 ReMPは、多種多様な実用的な3Dモーションデータに基づくベースライン法よりも一貫して優れている。
• 参考スコア（独自算出の注目度）: 10.813269931915364
• License:
• Abstract: We present Reusable Motion prior (ReMP), an effective motion prior that can accurately track the temporal evolution of motion in various downstream tasks. Inspired by the success of foundation models, we argue that a robust spatio-temporal motion prior can encapsulate underlying 3D dynamics applicable to various sensor modalities. We learn the rich motion prior from a sequence of complete parametric models of posed human body shape. Our prior can easily estimate poses in missing frames or noisy measurements despite significant occlusion by employing a temporal attention mechanism. More interestingly, our prior can guide the system with incomplete and challenging input measurements to quickly extract critical information to estimate the sequence of poses, significantly improving the training efficiency for mesh sequence recovery. ReMP consistently outperforms the baseline method on diverse and practical 3D motion data, including depth point clouds, LiDAR scans, and IMU sensor data. Project page is available in https://hojunjang17.github.io/ReMP.
• Abstract（参考訳）: 本稿では,様々な下流タスクにおける動作の時間的変化を正確に追跡する有効な動作であるReusable Motion Prior(ReMP)を提案する。 基礎モデルの成功にインスパイアされた我々は、頑健な時空間運動が、様々なセンサモードに適用可能な基礎となる3次元力学をカプセル化できると主張している。 我々は、人体形状の完全なパラメトリックモデルから、前もってリッチな動きを学習する。 時間的注意機構を用いることで,有意な閉塞性に拘わらず,フレームの欠落やノイズ測定で簡単にポーズを推定できる。 より興味深いことに、我々の前者は、不完全で挑戦的な入力測定でシステムを誘導し、重要な情報を素早く抽出してポーズの列を推定し、メッシュシーケンス回復のためのトレーニング効率を大幅に向上させることができる。 ReMPは、深度点雲、LiDARスキャン、IMUセンサーデータなど、多種多様な実用的な3Dモーションデータに対するベースライン手法を一貫して上回っている。 プロジェクトページはhttps://hojunjang17.github.io/ReMPで公開されている。

関連論文リスト

• MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting [56.785233997533794]
  我々はMotionGSと呼ばれる新しい変形可能な3次元ガウススプレイティングフレームワークを提案する。 MotionGSは3Dガウスの変形を導くために、前もって明示的な動きを探索する。 モノラルなダイナミックシーンの実験では、MotionGSが最先端の手法を超越していることが確認された。
  論文  参考訳（メタデータ） (2024-10-10T08:19:47Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• MoManifold: Learning to Measure 3D Human Motion via Decoupled Joint Acceleration Manifolds [20.83684434910106]
  我々は、連続した高次元運動空間における可塑性人間の動きをモデル化した、新しい人間の動きであるMoManifoldを提案する。 具体的には、既存の限られた動きデータから人間の力学をモデル化する新しい結合加速法を提案する。 大規模な実験により、MoManifoldはいくつかの下流タスクにおいて既存のSOTAよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-01T15:00:16Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Motion-DVAE: Unsupervised learning for fast human motion denoising [18.432026846779372]
  本研究では,人間の動作の短期的依存を捉えるための動きであるMotion-DVAEを紹介する。 我々は、Motion-DVAEとともに、回帰と最適化に基づくアプローチを統一する教師なし学習型復調手法を導入する。
  論文  参考訳（メタデータ） (2023-06-09T12:18:48Z)
• Decomposed Human Motion Prior for Video Pose Estimation via Adversarial Training [7.861513525154702]
  本稿では, ニューラルネットワークが先行知識から容易に学習できるように, 関節運動の前に全体運動を分解することを提案する。 また,新たな正規化損失を利用して,前もって導入された動きの正確さと滑らかさのバランスをとる。 提案手法は従来の3DPW法と比較して, PA-MPJPEが9%, 加速度誤差が29%低い。
  論文  参考訳（メタデータ） (2023-05-30T04:53:34Z)
• Mutual Information-Based Temporal Difference Learning for Human Pose Estimation in Video [16.32910684198013]
  本稿では,動的コンテキストをモデル化するために,フレーム間の時間差を利用した新しいヒューマンポーズ推定フレームワークを提案する。 具体的には、多段階差分を条件とした多段階絡み合い学習シーケンスを設計し、情報的動作表現シーケンスを導出する。 以下は、HiEveベンチマークで、複合イベントチャレンジにおけるクラウドポーズ推定において、第1位にランク付けします。
  論文  参考訳（メタデータ） (2023-03-15T09:29:03Z)
• Transformer Inertial Poser: Attention-based Real-time Human Motion Reconstruction from Sparse IMUs [79.72586714047199]
  本研究では,6つのIMUセンサからリアルタイムに全体動作を再構築する,注意に基づく深層学習手法を提案する。 提案手法は, 実装が簡単で, 小型でありながら, 定量的かつ質的に新しい結果が得られる。
  論文  参考訳（メタデータ） (2022-03-29T16:24:52Z)
• HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
  HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。 モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。 本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
  論文  参考訳（メタデータ） (2021-05-10T21:04:55Z)
• Motion Guided 3D Pose Estimation from Videos [81.14443206968444]
  本研究では,2次元ポーズから1次元の人物ポーズ推定を行う問題に対して,運動損失と呼ばれる新たな損失関数を提案する。 運動損失の計算では、ペアワイズ・モーション・エンコーディング(ペアワイズ・モーション・エンコーディング)と呼ばれる単純なキーポイント・モーションの表現が導入された。 UGCN(U-shaped GCN)と呼ばれる新しいグラフ畳み込みネットワークアーキテクチャを設計し,短期および長期の動作情報の両方をキャプチャする。
  論文  参考訳（メタデータ） (2020-04-29T06:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。