Fugu-MT 論文翻訳(概要): RemoCap: Disentangled Representation Learning for Motion Capture

論文の概要: RemoCap: Disentangled Representation Learning for Motion Capture

arxiv url: http://arxiv.org/abs/2405.12724v1
Date: Tue, 21 May 2024 12:24:01 GMT
ステータス: 処理完了
システム内更新日: 2024-05-22 13:29:38.967898
Title: RemoCap: Disentangled Representation Learning for Motion Capture
Title（参考訳）: RemoCap:モーションキャプチャのためのアンタングル表現学習
Authors: Hongsheng Wang, Lizao Zhang, Zhangnan Zhong, Shuolin Xu, Xinrui Zhou, Shengyu Zhang, Huahao Xu, Fei Wu, Feng Lin,
Abstract要約: RemoCapはリアルなモーションシーケンスから3Dの人体を再構築する。現在の方法は、閉塞した身体部分の力学を捉えるのに苦労している。本稿では,時間的コヒーレンスを促進するシーケンス速度損失を提案する。
参考スコア（独自算出の注目度）: 13.638129235443976
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reconstructing 3D human bodies from realistic motion sequences remains a challenge due to pervasive and complex occlusions. Current methods struggle to capture the dynamics of occluded body parts, leading to model penetration and distorted motion. RemoCap leverages Spatial Disentanglement (SD) and Motion Disentanglement (MD) to overcome these limitations. SD addresses occlusion interference between the target human body and surrounding objects. It achieves this by disentangling target features along the dimension axis. By aligning features based on their spatial positions in each dimension, SD isolates the target object's response within a global window, enabling accurate capture despite occlusions. The MD module employs a channel-wise temporal shuffling strategy to simulate diverse scene dynamics. This process effectively disentangles motion features, allowing RemoCap to reconstruct occluded parts with greater fidelity. Furthermore, this paper introduces a sequence velocity loss that promotes temporal coherence. This loss constrains inter-frame velocity errors, ensuring the predicted motion exhibits realistic consistency. Extensive comparisons with state-of-the-art (SOTA) methods on benchmark datasets demonstrate RemoCap's superior performance in 3D human body reconstruction. On the 3DPW dataset, RemoCap surpasses all competitors, achieving the best results in MPVPE (81.9), MPJPE (72.7), and PA-MPJPE (44.1) metrics. Codes are available at https://wanghongsheng01.github.io/RemoCap/.
Abstract（参考訳）: 現実的なモーションシーケンスから3Dの人体を再構築することは、広範で複雑な閉塞のために依然として困難である。現在の方法では、閉塞した身体部分の力学を捉えるのに苦労し、モデル浸透と歪んだ動きをもたらす。 RemoCapは、これらの制限を克服するために、Spatial Disentanglement (SD)とMotion Disentanglement (MD)を利用する。 SDは標的の人体と周囲の物体との間の閉塞的干渉に対処する。これは、次元軸に沿ってターゲット特徴を遠ざけることによって達成される。各次元の空間的位置に基づいて特徴を整列させることで、SDは対象物体の応答をグローバルウィンドウ内で分離し、閉塞にもかかわらず正確な捕獲を可能にする。 MDモジュールは、様々なシーンダイナミクスをシミュレートするために、チャネルワイズ時間シャッフル戦略を採用している。このプロセスは動作特徴を効果的に切り離し、RemoCapは閉塞した部分をより忠実に再構築することができる。さらに,時間的コヒーレンスを促進するシーケンス速度損失を提案する。この損失はフレーム間の速度誤差を制限し、予測された動きが現実的な一貫性を示すことを保証する。ベンチマークデータセットにおけるSOTA(State-of-the-art)手法との大規模な比較は、RemoCapの3D人体再構築における優れたパフォーマンスを示している。 3DPWデータセットでは、RemoCapは、MPVPE (81.9)、MPJPE (72.7)、PA-MPJPE (44.1)で最高の結果を得た。コードはhttps://wanghongsheng01.github.io/RemoCap/で公開されている。

関連論文リスト

Occlusion-Aware 3D Motion Interpretation for Abnormal Behavior Detection [10.782354892545651]
我々は,メッシュ頂点とヒト関節の3次元座標をモノクロビデオから再構成し,運動異常を識別するOAD2Dを提案する。動作特徴の定量化にVQVAEを用いるM2Tモデルと組み合わせることで、異常姿勢推定を再構成する。本研究は, 重度・自己閉塞性に対する異常行動検出のロバスト性を示すものである。
論文参考訳（メタデータ） (2024-07-23T18:41:16Z)
Decomposition Betters Tracking Everything Everywhere [8.199205242808592]
DecoMotionと呼ばれる新しいテスト時間最適化手法を提案し、画素ごとの動作と長距離動きを推定する。提案手法は,ポイントトラッキングの精度を高いマージンで向上させ,最先端のポイントトラッキングソリューションと同等に動作させる。
論文参考訳（メタデータ） (2024-07-09T04:01:23Z)
Memorize What Matters: Emergent Scene Decomposition from Multitraverse [54.487589469432706]
3次元ガウス写像は3次元ガウス写像をベースとしたカメラのみのオフラインマッピングフレームワークである。 3DGMは、同じ領域から複数のRGBビデオをガウスベースの環境マップに変換し、同時に2D短命なオブジェクトセグメンテーションを実行する。 We build the Mapverse benchmark, sourced from the Ithaca365 and nuPlan datasets, to evaluate our method in unsupervised 2D segmentation, 3D reconstruction, and Neural rendering。
論文参考訳（メタデータ） (2024-05-27T14:11:17Z)
Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
論文参考訳（メタデータ） (2024-04-19T19:44:24Z)
DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文参考訳（メタデータ） (2024-03-09T12:22:46Z)
Aligning Bird-Eye View Representation of Point Cloud Sequences using Scene Flow [0.0]
低解像度の点雲は、その空間性のため、物体検出法では困難である。本研究では,単一フレーム検出器がシーンフローを計算してBird-Eye View表現を修正できるプラグインモジュールを開発した。
論文参考訳（メタデータ） (2023-05-04T15:16:21Z)
Occluded Human Body Capture with Self-Supervised Spatial-Temporal Motion Prior [7.157324258813676]
私たちは、トレーニングとテストの両方に使用できる最初の3Dクローズドモーションデータセット(OcMotion)を構築します。次に、空間時間層は、関節レベルの相関を学習するために設計される。実験結果から,提案手法は,映像から高精度で一貫性のある人間の動きを生成できることが示唆された。
論文参考訳（メタデータ） (2022-07-12T08:15:11Z)
HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance [82.09463058198546]
シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
論文参考訳（メタデータ） (2022-05-11T17:59:31Z)
Exploring Optical-Flow-Guided Motion and Detection-Based Appearance for Temporal Sentence Grounding [61.57847727651068]
テンポラルな文グラウンドディングは、与えられた文クエリに従って、意図しないビデオのターゲットセグメントをセマンティックにローカライズすることを目的としている。これまでのほとんどの研究は、ビデオ全体のフレーム全体のフレームレベルの特徴を学習することに集中しており、それらをテキスト情報と直接一致させる。我々は,光フロー誘導型モーションアウェア,検出ベース外観アウェア,3D認識オブジェクトレベル機能を備えた,動き誘導型3Dセマンティック推論ネットワーク(MA3SRN)を提案する。
論文参考訳（メタデータ） (2022-03-06T13:57:09Z)
Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
論文参考訳（メタデータ） (2021-05-03T17:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。