論文の概要: Spatial-Temporal Parallel Transformer for Arm-Hand Dynamic Estimation

• arxiv url: http://arxiv.org/abs/2203.16202v1
• Date: Wed, 30 Mar 2022 10:51:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 22:53:06.815376
• Title: Spatial-Temporal Parallel Transformer for Arm-Hand Dynamic Estimation
• Title（参考訳）: アームハンド動的推定のための時空間並列変換器
• Authors: Shuying Liu, Wenbin Wu, Jiaxian Wu, Yue Lin
• Abstract要約: そこで本研究では,腕と手の関係を利用して,単眼ビデオから腕と手の動きを推定する手法を提案する。 2次元手ポーズ推定モデルと3次元人ポーズ推定モデルを統合することにより、単眼ビデオから可塑性アームと手動ダイナミクスを生成できる。
• 参考スコア（独自算出の注目度）: 7.043124227237034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose an approach to estimate arm and hand dynamics from monocular video by utilizing the relationship between arm and hand. Although monocular full human motion capture technologies have made great progress in recent years, recovering accurate and plausible arm twists and hand gestures from in-the-wild videos still remains a challenge. To solve this problem, our solution is proposed based on the fact that arm poses and hand gestures are highly correlated in most real situations. To fully exploit arm-hand correlation as well as inter-frame information, we carefully design a Spatial-Temporal Parallel Arm-Hand Motion Transformer (PAHMT) to predict the arm and hand dynamics simultaneously. We also introduce new losses to encourage the estimations to be smooth and accurate. Besides, we collect a motion capture dataset including 200K frames of hand gestures and use this data to train our model. By integrating a 2D hand pose estimation model and a 3D human pose estimation model, the proposed method can produce plausible arm and hand dynamics from monocular video. Extensive evaluations demonstrate that the proposed method has advantages over previous state-of-the-art approaches and shows robustness under various challenging scenarios.
• Abstract（参考訳）: 腕と手の関係を利用して,単眼映像から腕と手の動きを推定する手法を提案する。 モノラルなフルヒューマンモーションキャプチャ技術は近年大きな進歩を遂げていますが、正確な腕のねじれや手の動きの復元はいまだに課題です。 この問題を解決するために, 腕のポーズや手のジェスチャーがほとんどの実環境において高い相関関係にあるという事実に基づいて, 解決法を提案する。 アームハンド相関とフレーム間情報を完全に活用するために,空間-時間並列アームハンドモーショントランスフォーマ(pahmt)を慎重に設計し,アームとハンドダイナミクスを同時に予測する。 また、見積もりを円滑かつ正確にするための新たな損失も導入します。 さらに,200Kフレームのハンドジェスチャーを含むモーションキャプチャーデータセットを収集し,このデータを用いてモデルをトレーニングする。 2次元手ポーズ推定モデルと3次元人ポーズ推定モデルを統合することにより、単眼ビデオから可塑性アームと手動ダイナミクスを生成することができる。 大規模評価では,提案手法は従来の最先端手法よりも有利であり,様々な挑戦シナリオ下で頑健性を示す。

関連論文リスト

• Posture-Informed Muscular Force Learning for Robust Hand Pressure Estimation [6.912016522494431]
  本稿では,手圧推定を向上する新しいフレームワークであるPiMForceを提案する。 本手法は,3次元手話からの詳細な空間情報と,sEMGの動的筋活動とを併用する。 本フレームワークは,複雑な相互作用シナリオと自然な相互作用シナリオにおいて,正確な手圧力推定を可能にする。
  論文  参考訳（メタデータ） (2024-10-31T04:42:43Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Adversarial Motion Modelling helps Semi-supervised Hand Pose Estimation [116.07661813869196]
  そこで本稿では,非ラベルビデオに対人トレーニングとモーションモデリングのアイデアを組み合わせることを提案する。 本研究は,非ラベル映像系列の半教師あり学習により,逆方向が手ポーズ推定器の特性の向上につながることを示す。 このアプローチの主な利点は、ペアのトレーニングデータよりもはるかに容易に、未ペアのビデオとジョイントシーケンスデータを利用することができることです。
  論文  参考訳（メタデータ） (2021-06-10T17:50:19Z)
• Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics [87.17505994436308]
  身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。 身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。 本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
  論文  参考訳（メタデータ） (2020-07-23T22:58:15Z)
• SeqHAND:RGB-Sequence-Based 3D Hand Pose and Shape Estimation [48.456638103309544]
  RGB画像に基づく3次元手ポーズ推定は長い間研究されてきた。 本研究では,人間の手の動きを模倣する合成データセットを生成する手法を提案する。 本研究では,3次元ポーズ推定における時間情報の利用により,一般的なポーズ推定が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-07-10T05:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。