論文の概要: FrankMocap: Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration

• arxiv url: http://arxiv.org/abs/2008.08324v1
• Date: Wed, 19 Aug 2020 08:22:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 12:00:09.034374
• Title: FrankMocap: Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration
• Title（参考訳）: FrankMocap: 回帰と統合による高速モノクロ3Dハンドとボディモーションキャプチャ
• Authors: Yu Rong, Takaaki Shiratori, Hanbyul Joo
• Abstract要約: フランクモキャップ(FrankMocap)は、高速(9.5 fps)で、幅内モノクル入力から3次元の手と体の動きを推定できるモーションキャプチャシステムである。 提案手法は, ほぼリアルタイム(9.5fps)で動作し, 統一パラメトリックモデル構造として3次元体と手の動きキャプチャ出力を生成する。
• 参考スコア（独自算出の注目度）: 40.77575192866039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although the essential nuance of human motion is often conveyed as a combination of body movements and hand gestures, the existing monocular motion capture approaches mostly focus on either body motion capture only ignoring hand parts or hand motion capture only without considering body motion. In this paper, we present FrankMocap, a motion capture system that can estimate both 3D hand and body motion from in-the-wild monocular inputs with faster speed (9.5 fps) and better accuracy than previous work. Our method works in near real-time (9.5 fps) and produces 3D body and hand motion capture outputs as a unified parametric model structure. Our method aims to capture 3D body and hand motion simultaneously from challenging in-the-wild monocular videos. To construct FrankMocap, we build the state-of-the-art monocular 3D "hand" motion capture method by taking the hand part of the whole body parametric model (SMPL-X). Our 3D hand motion capture output can be efficiently integrated to monocular body motion capture output, producing whole body motion results in a unified parrametric model structure. We demonstrate the state-of-the-art performance of our hand motion capture system in public benchmarks, and show the high quality of our whole body motion capture result in various challenging real-world scenes, including a live demo scenario.
• Abstract（参考訳）: 人間の動作の本質的なニュアンスはしばしば、身体の動きと手の動きの組み合わせとして伝えられるが、既存のモノクラーモーションキャプチャーアプローチは主に、身体の動きを考慮せずに、手の部分を無視したり、手の動きを捉えることだけに焦点を当てている。 本稿では,従来よりも高速 (9.5 fps) で高精度な単眼入力から3次元手と体の動きを推定できるモーションキャプチャシステムfrankmocapを提案する。 本手法は, ほぼリアルタイム(9.5 fps)で動作し, 統一パラメトリックモデル構造として3次元体および手の動きキャプチャ出力を生成する。 本手法は3次元物体と手の動きを同時に撮影することを目的としている。 我々は,FrankMocapを構築するために,全身パラメトリックモデル(SMPL-X)のハンド部分を取り込むことで,最先端のモノクラー3Dモーションキャプチャー法を構築した。 本研究の3次元手の動きキャプチャ出力は, 単球体の動きキャプチャ出力と効率よく統合することができ, 全身の動きを統一したパロメトリーモデル構造で生成する。 我々は,手の動きキャプチャシステムの最先端のパフォーマンスを公開ベンチマークで実演し,実演シナリオを含む様々な挑戦的な実世界シーンにおいて,身体の動きキャプチャの結果の質を実演する。

関連論文リスト

• Motion Diffusion-Guided 3D Global HMR from a Dynamic Camera [3.6948631725065355]
  拡散最適化を用いた新しい3次元大域HMR法DiffOptを提案する。 我々の重要な洞察は、動き拡散モデル(MDM)のような人間の動き生成の最近の進歩は、コヒーレントな人間の動きの強い先行を含むことである。 我々はDiffOptをGlobal 3D Human Pose and Shape in the Wildの電磁データベースからビデオシーケンスで検証した。
  論文  参考訳（メタデータ） (2024-11-15T21:09:40Z)
• D&D: Learning Human Dynamics from Dynamic Camera [55.60512353465175]
  本稿では、物理の法則を活かしたD&D(Learning Human Dynamics from Dynamic Camera)を紹介する。 私たちのアプローチは完全にニューラルネットワークで、物理エンジンのオフライン最適化やシミュレーションなしで動作します。
  論文  参考訳（メタデータ） (2022-09-19T06:51:02Z)
• Embodied Hands: Modeling and Capturing Hands and Bodies Together [61.32931890166915]
  人間は、コミュニケーションとタスクの解決のために、手と体を一緒に移動します。 ほとんどの方法は、体と手の3Dモデリングと追跡を別々に扱う。 我々は、手と体の相互作用をモデルとして定式化し、それをフルボディの4Dシーケンスに適合させる。
  論文  参考訳（メタデータ） (2022-01-07T18:59:32Z)
• Learning Motion Priors for 4D Human Body Capture in 3D Scenes [81.54377747405812]
  LEMO: LEMO: LEARING Human Motion priors for 4D human body capture。 提案手法では, 連続して復元されたポーズによって現れるジッタを減少させる新規な動きを事前に導入する。 また, 接触摩擦項と, 物体ごとの自己監督訓練により得られる接触認識運動充填剤を設計した。 パイプラインでは、高品質な4D人体撮影、スムーズな動きの再構築、身体とシーンの相互作用を実演しています。
  論文  参考訳（メタデータ） (2021-08-23T20:47:09Z)
• SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos [40.19723456533343]
  SportsCap - 3Dの人間の動きを同時に捉え、モノラルな挑戦的なスポーツビデオ入力からきめ細かなアクションを理解するための最初のアプローチを提案する。 本手法は,組込み空間に先立って意味的かつ時間的構造を持つサブモーションを,モーションキャプチャと理解に活用する。 このようなハイブリッドな動き情報に基づいて,マルチストリーム空間時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,詳細なセマンティックアクション特性を予測する。
  論文  参考訳（メタデータ） (2021-04-23T07:52:03Z)
• Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics [87.17505994436308]
  身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。 身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。 本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
  論文  参考訳（メタデータ） (2020-07-23T22:58:15Z)
• Motion Guided 3D Pose Estimation from Videos [81.14443206968444]
  本研究では,2次元ポーズから1次元の人物ポーズ推定を行う問題に対して,運動損失と呼ばれる新たな損失関数を提案する。 運動損失の計算では、ペアワイズ・モーション・エンコーディング(ペアワイズ・モーション・エンコーディング)と呼ばれる単純なキーポイント・モーションの表現が導入された。 UGCN(U-shaped GCN)と呼ばれる新しいグラフ畳み込みネットワークアーキテクチャを設計し,短期および長期の動作情報の両方をキャプチャする。
  論文  参考訳（メタデータ） (2020-04-29T06:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。