論文の概要: Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches and a Head-Mounted Camera

• arxiv url: http://arxiv.org/abs/2401.00847v2
• Date: Mon, 6 May 2024 08:14:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 00:05:27.598564
• Title: Mocap Everyone Everywhere: Lightweight Motion Capture With Smartwatches and a Head-Mounted Camera
• Title（参考訳）: スマートウォッチとヘッドマウントカメラ搭載の軽量モーションキャプチャー「Mocap Every Everywhere」
• Authors: Jiye Lee, Hanbyul Joo,
• Abstract要約: 本稿では2つのスマートウォッチとヘッドマウントカメラを用いた軽量で安価なモーションキャプチャー手法を提案する。 われわれの方法は、あらゆる場所でウェアラブルのモーションキャプチャーを利用できるようにし、多様な環境で3Dのフルボディモーションキャプチャーを可能にする。
• 参考スコア（独自算出の注目度）: 10.055317239956423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a lightweight and affordable motion capture method based on two smartwatches and a head-mounted camera. In contrast to the existing approaches that use six or more expert-level IMU devices, our approach is much more cost-effective and convenient. Our method can make wearable motion capture accessible to everyone everywhere, enabling 3D full-body motion capture in diverse environments. As a key idea to overcome the extreme sparsity and ambiguities of sensor inputs with different modalities, we integrate 6D head poses obtained from the head-mounted cameras for motion estimation. To enable capture in expansive indoor and outdoor scenes, we propose an algorithm to track and update floor level changes to define head poses, coupled with a multi-stage Transformer-based regression module. We also introduce novel strategies leveraging visual cues of egocentric images to further enhance the motion capture quality while reducing ambiguities. We demonstrate the performance of our method on various challenging scenarios, including complex outdoor environments and everyday motions including object interactions and social interactions among multiple individuals.
• Abstract（参考訳）: 本稿では2つのスマートウォッチとヘッドマウントカメラを用いた軽量で安価なモーションキャプチャー手法を提案する。 6つ以上の専門家レベルのIMUデバイスを使用する既存のアプローチとは対照的に、我々のアプローチはコスト効率が高く便利です。 われわれの方法は、あらゆる場所でウェアラブルのモーションキャプチャーを利用できるようにし、多様な環境で3Dのフルボディモーションキャプチャーを可能にする。 センサ入力の極端な間隔とあいまいさを異なるモードで克服する鍵となるアイデアとして,頭部搭載カメラから得られた6Dヘッドポーズを統合して動作推定を行う。 屋内および屋外のシーンの撮影を可能にするため,多段トランスフォーマーベース回帰モジュールと組み合わせた頭部ポーズ定義のためのフロアレベルの変化の追跡と更新を行うアルゴリズムを提案する。 また、エゴ中心画像の視覚的手がかりを活用して、あいまいさを低減しつつ、モーションキャプチャーの品質をさらに向上させる新しい戦略も導入する。 本研究では,複雑な屋外環境や,オブジェクトのインタラクションや複数の個人間の社会的相互作用を含む日常的な動きなど,様々な難易度シナリオにおいて,本手法の有効性を実証する。

関連論文リスト

• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• Redundancy-Aware Camera Selection for Indoor Scene Neural Rendering [54.468355408388675]
  カメラの空間的多様性と画像の意味的変動の両方を取り入れた類似度行列を構築した。 カメラ選択を最適化するために,多様性に基づくサンプリングアルゴリズムを適用した。 IndoorTrajという新しいデータセットも開発しています。仮想屋内環境で人間が捉えた、長くて複雑なカメラの動きが含まれています。
  論文  参考訳（メタデータ） (2024-09-11T08:36:49Z)
• Motion Capture from Inertial and Vision Sensors [60.5190090684795]
  MINIONSは、INertialとvisION Sensorsから収集された大規模なモーションキャプチャーデータセットである。 単眼カメラと極めて少ないIMUを用いたマルチモーダルモーションキャプチャの実験を行った。
  論文  参考訳（メタデータ） (2024-07-23T09:41:10Z)
• EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
  エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。 動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
  論文  参考訳（メタデータ） (2024-06-28T10:39:36Z)
• PACE: Human and Camera Motion Estimation from in-the-wild Videos [113.76041632912577]
  本研究では,移動カメラのグローバルシーンにおける人間の動きを推定する手法を提案する。 これは、ビデオ中の人間とカメラの動きが混ざり合っているため、非常に難しい作業である。 本研究では,人体とカメラの動作を前景の人体と背景の両方の特徴を用いてアンハングリングする共同最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T19:04:14Z)
• Proactive Multi-Camera Collaboration For 3D Human Pose Estimation [16.628446718419344]
  本稿では,3次元人物位置推定におけるプロアクティブなマルチカメラ協調のためのマルチエージェント強化学習手法を提案する。 アクティブカメラは3次元再構成に最適な視点を求めるために、積極的にカメラのポーズを制御している。 我々は、環境ダイナミクスをよりよく捉えるために、複数の世界ダイナミクス学習タスクでモデルを共同で訓練する。
  論文  参考訳（メタデータ） (2023-03-07T10:01:00Z)
• HybridCap: Inertia-aid Monocular Capture of Challenging Human Motions [41.56735523771541]
  軽量なハイブリッドモキャップ技術であるHybridCapを提案する。 カメラを4つの慣性測定ユニット(IMU)で拡張し、学習と最適化のフレームワークを組み込む。 フィットネスアクションからラテンダンスまで、挑戦的な動きをしっかりと処理できる。
  論文  参考訳（メタデータ） (2022-03-17T12:30:17Z)
• Event-based Motion Segmentation by Cascaded Two-Level Multi-Model Fitting [44.97191206895915]
  独立に動く物体を単眼イベントカメラで識別するためのケースド2レベル多モデルフィッティング法を提案する。 動作パターンの異なる実世界のシーンにおいて,本手法の有効性と汎用性を示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-05T12:59:41Z)
• Attentive and Contrastive Learning for Joint Depth and Motion Field Estimation [76.58256020932312]
  単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。 モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:45:01Z)
• Lightweight Multi-person Total Motion Capture Using Sparse Multi-view Cameras [35.67288909201899]
  スパース多視点カメラのみを用いた多人数対話型シナリオのための軽量な総合的モーションキャプチャシステムを提案する。 本手法は,重度の閉塞時であっても,手と顔の効率的な位置決めと正確な関連付けが可能である。 本報告では, 高速, 頑健, 高精度な多対人モーションキャプチャ性能を実現するための, 初の軽量全モーションキャプチャシステムを提案する。
  論文  参考訳（メタデータ） (2021-08-23T19:23:35Z)
• SportsCap: Monocular 3D Human Motion Capture and Fine-grained Understanding in Challenging Sports Videos [40.19723456533343]
  SportsCap - 3Dの人間の動きを同時に捉え、モノラルな挑戦的なスポーツビデオ入力からきめ細かなアクションを理解するための最初のアプローチを提案する。 本手法は,組込み空間に先立って意味的かつ時間的構造を持つサブモーションを,モーションキャプチャと理解に活用する。 このようなハイブリッドな動き情報に基づいて,マルチストリーム空間時空間グラフ畳み込みネットワーク(ST-GCN)を導入し,詳細なセマンティックアクション特性を予測する。
  論文  参考訳（メタデータ） (2021-04-23T07:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。