論文の概要: HybridCap: Inertia-aid Monocular Capture of Challenging Human Motions

• arxiv url: http://arxiv.org/abs/2203.09287v1
• Date: Thu, 17 Mar 2022 12:30:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 15:26:45.822359
• Title: HybridCap: Inertia-aid Monocular Capture of Challenging Human Motions
• Title（参考訳）: hybridcap:ヒトの運動に挑戦する慣性・aidモノクロキャプチャー
• Authors: Han Liang, Yannan He, Chengfeng Zhao, Mutian Li, Jingya Wang, Jingyi Yu, Lan Xu
• Abstract要約: 軽量なハイブリッドモキャップ技術であるHybridCapを提案する。 カメラを4つの慣性測定ユニット(IMU)で拡張し、学習と最適化のフレームワークを組み込む。 フィットネスアクションからラテンダンスまで、挑戦的な動きをしっかりと処理できる。
• 参考スコア（独自算出の注目度）: 41.56735523771541
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular 3D motion capture (mocap) is beneficial to many applications. The use of a single camera, however, often fails to handle occlusions of different body parts and hence it is limited to capture relatively simple movements. We present a light-weight, hybrid mocap technique called HybridCap that augments the camera with only 4 Inertial Measurement Units (IMUs) in a learning-and-optimization framework. We first employ a weakly-supervised and hierarchical motion inference module based on cooperative Gated Recurrent Unit (GRU) blocks that serve as limb, body and root trackers as well as an inverse kinematics solver. Our network effectively narrows the search space of plausible motions via coarse-to-fine pose estimation and manages to tackle challenging movements with high efficiency. We further develop a hybrid optimization scheme that combines inertial feedback and visual cues to improve tracking accuracy. Extensive experiments on various datasets demonstrate HybridCap can robustly handle challenging movements ranging from fitness actions to Latin dance. It also achieves real-time performance up to 60 fps with state-of-the-art accuracy.
• Abstract（参考訳）: 単眼3次元モーションキャプチャ(mocap)は多くの応用に有用である。 しかし、単一のカメラを使うことは、しばしば異なる身体部位の閉塞を処理できないため、比較的単純な動きを捉えることが制限される。 学習と最適化のフレームワークで4つの慣性計測ユニット(IMU)でカメラを増強するHybridCapと呼ばれる軽量ハイブリッドモキャップ技術を提案する。 まず,手足,体,根を追跡する協調ゲート・リカレント・ユニット(gru)ブロックと逆キネマティックス・ソルバを基本とした,弱い教師付き階層的モーション推論モジュールを用いた。 提案ネットワークは,粗いポーズ推定による可塑性運動の探索空間を効果的に制限し,高い効率で挑戦運動に取り組む。 さらに,慣性フィードバックと視覚手がかりを組み合わせたハイブリッド最適化手法を開発し,追跡精度を向上させる。 さまざまなデータセットに関する大規模な実験では、HybridCapがフィットネスアクションからラテンダンスまで、困難な動きを堅牢に処理できることが示されている。 また、最先端の精度で60fpsまでのリアルタイムパフォーマンスを実現している。

関連論文リスト

• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• Motion-adaptive Separable Collaborative Filters for Blind Motion Deblurring [71.60457491155451]
  様々な動きによって生じる画像のぼかしを除去することは、難しい問題である。 本研究では,動き適応型分離型協調フィルタと呼ばれる実世界のデブロアリングフィルタモデルを提案する。 本手法は,実世界の動きのぼかし除去に有効な解法を提供し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-04-19T19:44:24Z)
• Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches and a Head-Mounted Camera [10.055317239956423]
  本稿では2つのスマートウォッチとヘッドマウントカメラを用いた軽量で安価なモーションキャプチャー手法を提案する。 われわれの方法は、あらゆる場所でウェアラブルのモーションキャプチャーを利用できるようにし、多様な環境で3Dのフルボディモーションキャプチャーを可能にする。
  論文  参考訳（メタデータ） (2024-01-01T18:56:54Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• Avatars Grow Legs: Generating Smooth Human Motion from Sparse Tracking Inputs with Diffusion Model [18.139630622759636]
  本稿では,低速な上体追跡信号のフルボディ追跡に特化して設計された新しい条件拡散モデル AGRoL を提案する。 我々のモデルは、シンプルな多層パーセプトロン(MLP)アーキテクチャと、モーションデータのための新しい条件付け方式に基づいている。 一般的な拡散アーキテクチャとは異なり、私たちのコンパクトアーキテクチャはリアルタイムで動作し、オンラインのボディトラッキングアプリケーションに適している。
  論文  参考訳（メタデータ） (2023-04-17T19:35:13Z)
• QuestSim: Human Motion Tracking from Sparse Sensors with Simulated Avatars [80.05743236282564]
  人間の身体の動きのリアルタイム追跡は、AR/VRにおける没入感のある体験に不可欠である。 本稿では,HMDと2つのコントローラから疎信号を取り出す強化学習フレームワークを提案する。 一つのポリシーは、多様な移動スタイル、異なる体の大きさ、新しい環境に対して堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-09-20T00:25:54Z)
• Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
  物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。 人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。 様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
  論文  参考訳（メタデータ） (2021-05-03T17:57:07Z)
• SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos [40.19723456533343]
  SportsCap - 3Dの人間の動きを同時に捉え、モノラルな挑戦的なスポーツビデオ入力からきめ細かなアクションを理解するための最初のアプローチを提案する。 本手法は,組込み空間に先立って意味的かつ時間的構造を持つサブモーションを,モーションキャプチャと理解に活用する。 このようなハイブリッドな動き情報に基づいて,マルチストリーム空間時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,詳細なセマンティックアクション特性を予測する。
  論文  参考訳（メタデータ） (2021-04-23T07:52:03Z)
• ChallenCap: Monocular 3D Capture of Challenging Human Performances using Multi-Modal References [18.327101908143113]
  今回提案するChallenCapは、単一のRGBカメラで難しい3D人間の動きをキャプチャするテンプレートベースのアプローチです。 我々は,マルチモーダル参照を用いた新しい学習・最適化フレームワークを採用する。 我々の新しい挑戦運動データセットの実験は、挑戦する人間の動きを捉えるアプローチの有効性と堅牢性を示している。
  論文  参考訳（メタデータ） (2021-03-11T15:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。