論文の概要: EgoLocate: Real-time Motion Capture, Localization, and Mapping with Sparse Body-mounted Sensors

• arxiv url: http://arxiv.org/abs/2305.01599v1
• Date: Tue, 2 May 2023 16:56:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 13:39:54.936316
• Title: EgoLocate: Real-time Motion Capture, Localization, and Mapping with Sparse Body-mounted Sensors
• Title（参考訳）: EgoLocate:スパースボディ搭載センサによるリアルタイムモーションキャプチャ、位置決め、マッピング
• Authors: Xinyu Yi, Yuxiao Zhou, Marc Habermann, Vladislav Golyanik, Shaohua Pan, Christian Theobalt, Feng Xu
• Abstract要約: 本研究では,人間のモーションキャプチャ(モキャップ),ローカライゼーション,マッピングを,スパースボディ搭載センサからリアルタイムに行うシステムを開発した。 我々の技術は2つの分野の最先端技術と比較して,我々の技術によって大きく改善されている。
• 参考スコア（独自算出の注目度）: 74.1275051763006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human and environment sensing are two important topics in Computer Vision and Graphics. Human motion is often captured by inertial sensors, while the environment is mostly reconstructed using cameras. We integrate the two techniques together in EgoLocate, a system that simultaneously performs human motion capture (mocap), localization, and mapping in real time from sparse body-mounted sensors, including 6 inertial measurement units (IMUs) and a monocular phone camera. On one hand, inertial mocap suffers from large translation drift due to the lack of the global positioning signal. EgoLocate leverages image-based simultaneous localization and mapping (SLAM) techniques to locate the human in the reconstructed scene. On the other hand, SLAM often fails when the visual feature is poor. EgoLocate involves inertial mocap to provide a strong prior for the camera motion. Experiments show that localization, a key challenge for both two fields, is largely improved by our technique, compared with the state of the art of the two fields. Our codes are available for research at https://xinyu-yi.github.io/EgoLocate/.
• Abstract（参考訳）: 人間と環境のセンシングはコンピュータビジョンとグラフィックの2つの重要なトピックである。 人間の動きはしばしば慣性センサーによって捉えられるが、環境はほとんどはカメラで再構成される。 6個の慣性測定ユニット(imus)と単眼電話カメラを含む、人体搭載センサから人間のモーションキャプチャ(mocap)、ローカライズ、マッピングを同時にリアルタイムに行うシステムであるegolocate(エゴロケート)に2つの技術を統合する。 一方、慣性モキャップは、大域的な位置決め信号の欠如により、大きな翻訳ドリフトに悩まされる。 EgoLocateは、画像ベースの同時ローカライゼーションとマッピング(SLAM)技術を利用して、再構成されたシーンで人間を見つける。 一方、SLAMは視覚的機能が貧弱な場合に失敗することが多い。 エゴロカテは慣性モキャップを伴い、カメラの動きに強く先行する。 両分野にとって重要な課題であるローカライゼーションは,2つの分野の最先端技術と比較して,我々の手法によって大きく改善されている。 私たちのコードはhttps://xinyu-yi.github.io/EgoLocate/で研究できます。

関連論文リスト

• EgoHDM: An Online Egocentric-Inertial Human Motion Capture, Localization, and Dense Mapping System [11.89252820871709]
  EgoHDMはオンライン・エゴセントリック・慣性人体モーションキャプチャー(モキャップ)、ローカライゼーション、高密度マッピングシステムである。 本システムは6つの慣性測定ユニット(IMU)とコモディティヘッドマウントRGBカメラを使用する。
  論文  参考訳（メタデータ） (2024-08-31T04:19:02Z)
• Synergistic Global-space Camera and Human Reconstruction from Videos [41.309293977251855]
  この研究は、SynSynR(SynSynR)とSynSynR(SynSynR)を導入し、両者の長所を結婚させた。 具体的には、メカニカルカメラのポーズとシーンポイントの雲を再構成するために、人間対応のメカニカルCHMを設計する。 さらにScene-aware SMPL Denoiserを学習し、密集時間的コヒーレンシと動的シーン制約を組み込むことで世界フレームHMRを強化する。
  論文  参考訳（メタデータ） (2024-05-23T17:57:50Z)
• SparsePoser: Real-time Full-body Motion Reconstruction from Sparse Data [1.494051815405093]
  SparsePoserは、スパースデータから全身のポーズを再構築するための、新しいディープラーニングベースのソリューションである。 このシステムには、高品質な連続した人間のポーズを合成する畳み込み型オートエンコーダが組み込まれている。 本手法は,IMUセンサや6-DoFトラッキングデバイスを用いた最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T18:48:01Z)
• Fusing Monocular Images and Sparse IMU Signals for Real-time Human Motion Capture [8.125716139367142]
  本研究では,モノクロ画像とスパースIMUを融合してリアルタイムな人体モーションキャプチャを実現する手法を提案する。 本手法は, モーションキャプチャにおいて, 目標の異なるIMU信号を完全に探索する2つの座標戦略を含む。 我々の手法は最先端のビジョン, IMU, およびグローバルな向きと局所的なポーズ推定の併用方法よりも優れていた。
  論文  参考訳（メタデータ） (2023-09-01T07:52:08Z)
• TRACE: 5D Temporal Regression of Avatars with Dynamic Cameras in 3D Environments [106.80978555346958]
  現在の方法では、地球上の座標で動く人間を確実に推定することはできない。 TRACEは、ダイナミックカメラからグローバル座標における3D人間の共同回収と追跡を行う最初の1段階の手法である。 トラッキングとHPSベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-06-05T13:00:44Z)
• HULC: 3D Human Motion Capture with Pose Manifold Sampling and Dense Contact Guidance [82.09463058198546]
  シーンインタラクションを備えたマーカーレスモノクロ3Dモーションキャプチャ(MoCap)は、拡張現実、ロボティクス、仮想アバター生成に関連する挑戦的な研究課題である。 シーン形状を認識した3DヒューマンMoCapの新しいアプローチであるHULCを提案する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:31Z)
• Neural Monocular 3D Human Motion Capture with Physical Awareness [76.55971509794598]
  物理的に可塑性なマーカーレス3次元モーションキャプチャのための新しいトレーニングシステムを提案する。 人間のモーションキャプチャのためのほとんどのニューラルな手法とは異なり、我々のアプローチは物理的および環境的な制約を認識している。 様々な場面でインタラクティブなフレームレートで、滑らかで物理的に原理化された3dモーションを生成する。
  論文  参考訳（メタデータ） (2021-05-03T17:57:07Z)
• Human POSEitioning System (HPS): 3D Human Pose Estimation and Self-localization in Large Scenes from Body-Mounted Sensors [71.29186299435423]
  HPS(Human POSEitioning System)は、周囲の環境の3Dスキャンで登録された人間の完全な3Dポーズを回復する手法です。 最適化に基づく統合は2つの利点を生かし、結果としてドリフトのないポーズの精度が得られることを示す。 hpsは、人間が外部カメラに直接視線を向けなくてもシーンと対話できるvr/arアプリケーションとして使用できる。
  論文  参考訳（メタデータ） (2021-03-31T17:58:31Z)
• PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time [89.68248627276955]
  シングルカラーカメラからのマーカレス3Dモーションキャプチャは、大きな進歩を遂げた。 しかし、これは非常に困難な問題であり、深刻な問題である。 我々はPhysCapについて紹介する。PhysCapは物理的に可塑性でリアルタイムでマーカーのない人間の3Dモーションキャプチャのための最初のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-08-20T10:46:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。