論文の概要: UmeTrack: Unified multi-view end-to-end hand tracking for VR

• arxiv url: http://arxiv.org/abs/2211.00099v1
• Date: Mon, 31 Oct 2022 19:09:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 14:01:21.664118
• Title: UmeTrack: Unified multi-view end-to-end hand tracking for VR
• Title（参考訳）: UmeTrack:VR用多視点エンドツーエンドハンドトラッキング
• Authors: Shangchen Han, Po-chen Wu, Yubo Zhang, Beibei Liu, Linguang Zhang, Zheng Wang, Weiguang Si, Peizhao Zhang, Yujun Cai, Tomas Hodan, Randi Cabezas, Luan Tran, Muzaffer Akbay, Tsz-Ho Yu, Cem Keskin, Robert Wang
• Abstract要約: 空間における3Dハンドポーズのリアルタイム追跡は難しい問題であり、VRインタラクションにおいて重要な役割を果たす。 本稿では,世界空間における3Dハンドポーズを直接予測する多視点多フレームハンドトラッキングのための,エンドツーエンドの識別可能な統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 34.352638006495326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time tracking of 3D hand pose in world space is a challenging problem and plays an important role in VR interaction. Existing work in this space are limited to either producing root-relative (versus world space) 3D pose or rely on multiple stages such as generating heatmaps and kinematic optimization to obtain 3D pose. Moreover, the typical VR scenario, which involves multi-view tracking from wide \ac{fov} cameras is seldom addressed by these methods. In this paper, we present a unified end-to-end differentiable framework for multi-view, multi-frame hand tracking that directly predicts 3D hand pose in world space. We demonstrate the benefits of end-to-end differentiabilty by extending our framework with downstream tasks such as jitter reduction and pinch prediction. To demonstrate the efficacy of our model, we further present a new large-scale egocentric hand pose dataset that consists of both real and synthetic data. Experiments show that our system trained on this dataset handles various challenging interactive motions, and has been successfully applied to real-time VR applications.
• Abstract（参考訳）: 空間における3Dハンドポーズのリアルタイム追跡は難しい問題であり、VRインタラクションにおいて重要な役割を果たす。 この空間における既存の作業は、ルート相対的な3Dポーズを生成するか、熱マップの生成や3Dポーズを得るためにキネマティック最適化などの複数のステージに依存している。 さらに、幅広い \ac{fov} カメラからのマルチビュートラッキングを含む典型的なVRシナリオは、これらの手法によって対処されることはめったにない。 本稿では,世界空間における3Dハンドポーズを直接予測する多視点多フレームハンドトラッキングのための,統一的なエンドツーエンド微分可能なフレームワークを提案する。 フレームワークをジッタ削減やピンチ予測といった下流タスクで拡張することで、エンドツーエンドの差別化の利点を実証します。 さらに,本モデルの有効性を示すために,実データと合成データの両方からなる大規模自我中心手ポーズデータセットを提案する。 このデータセットでトレーニングしたシステムは、様々な困難なインタラクティブな動作を処理し、リアルタイムVRアプリケーションにうまく適用されている。

関連論文リスト

• Bundle Adjusted Gaussian Avatars Deblurring [31.718130377229482]
  本研究では,人間の運動に起因するぼかし形成の3次元的物理指向モデルと,運動誘発ぼかし画像に見られる曖昧さを明らかにするための3次元人体運動モデルを提案する。 我々は,360度同期ハイブリッド露光カメラシステムによって取得された実撮データセットとともに,既存のマルチビューキャプチャから合成されたデータセットを用いて,このタスクのベンチマークを確立した。
  論文  参考訳（メタデータ） (2024-11-24T10:03:24Z)
• WiLoR: End-to-end 3D Hand Localization and Reconstruction in-the-wild [53.288327629960364]
  野生における効率的なマルチハンド再構築のためのデータ駆動パイプラインを提案する。 提案するパイプラインは、リアルタイム完全畳み込みハンドローカライゼーションと、高忠実度トランスフォーマーに基づく3Dハンド再構成モデルという2つのコンポーネントで構成されている。 提案手法は, 一般的な2次元および3次元のベンチマークにおいて, 効率と精度の両方において, 従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-18T18:46:51Z)
• MOVIN: Real-time Motion Capture using a Single LiDAR [7.3228874258537875]
  我々は,グローバルトラッキングを用いたリアルタイムモーションキャプチャのためのデータ駆動生成法MOVINを提案する。 本フレームワークは,パフォーマーの3次元グローバル情報と局所的な関節の詳細を正確に予測する。 実世界のシナリオでメソッドをデモするために,リアルタイムアプリケーションを実装した。
  論文  参考訳（メタデータ） (2023-09-17T16:04:15Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling [13.284947022380404]
  頭部と手の3つの追跡信号だけで、正確でスムーズな全身運動を得ることができる2段階のフレームワークを提案する。 本フレームワークは,第1段階の関節レベル特徴を明示的にモデル化し,第2段階の関節レベル相関を捉えるために,空間的および時間的トランスフォーマーブロックの交互化に時間的トークンとして利用する。 AMASSモーションデータセットと実捕集データに関する広範な実験により,提案手法は既存の手法と比較して,より正確で滑らかな動きを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-08-17T08:27:55Z)
• Uncertainty-aware State Space Transformer for Egocentric 3D Hand Trajectory Forecasting [79.34357055254239]
  ハンドトラジェクトリ予測は、AR/VRシステムと対話する際の人間の意図の迅速な理解を可能にするために不可欠である。 既存の方法では、現実の3Dアプリケーションでは不十分な2次元画像空間でこの問題に対処する。 初対人視点で観察されたRGBビデオから3次元空間のハンドトラジェクトリを予測することを目的とした,エゴセントリックな3Dハンドトラジェクトリ予測タスクを構築した。
  論文  参考訳（メタデータ） (2023-07-17T04:55:02Z)
• RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video [76.86512780916827]
  本稿では,1台のRGBカメラによる骨格ポーズのモーションキャプチャと手の表面形状をリアルタイムに計測する手法を提案する。 RGBデータの本質的な深さの曖昧さに対処するために,我々は新しいマルチタスクCNNを提案する。 RGBの片手追跡と3D再構築パイプラインの個々のコンポーネントを実験的に検証した。
  論文  参考訳（メタデータ） (2021-06-22T12:53:56Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera [97.0162841635425]
  頭部装着型VR装置の縁に設置した下向きの魚眼カメラから撮影した単眼画像から,エゴセントリックな3Dボディポーズ推定法を提案する。 この特異な視点は、厳密な自己閉塞と視点歪みを伴う、独特の視覚的な外観のイメージに繋がる。 本稿では,2次元予測の不確実性を考慮した新しいマルチブランチデコーダを用いたエンコーダデコーダアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-02T16:18:06Z)
• Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated Convolution [34.301501457959056]
  本稿では,2次元関節を3次元に変換するために,ゲート型畳み込みモジュールを用いた時間回帰ネットワークを提案する。 また, 正規化ポーズを大域軌跡に変換するために, 単純かつ効果的な局所化手法も実施した。 提案手法は,最先端の2D-to-3Dポーズ推定法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-31T04:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。