論文の概要: HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos

• arxiv url: http://arxiv.org/abs/2501.02973v1
• Date: Mon, 06 Jan 2025 12:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:06:59.113548
• Title: HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos
• Title（参考訳）: HaWoR:エゴセントリックな動画から世界空間のハンドモーションを再現
• Authors: Jinglei Zhang, Jiankang Deng, Chao Ma, Rolandos Alexandros Potamias,
• Abstract要約: HaWoRは、エゴセントリックなビデオから世界座標のハンドモーション再構成のための高忠実度手法である。 正確なカメラ軌道推定を実現するために,適応型エゴセントリックSLAMフレームワークを提案する。 本研究では,HawoRが手動再建と世界フレームカメラの軌跡推定の両面において,最先端の性能を実現することを実証する。
• 参考スコア（独自算出の注目度）: 26.766489527823662
• License:
• Abstract: Despite the advent in 3D hand pose estimation, current methods predominantly focus on single-image 3D hand reconstruction in the camera frame, overlooking the world-space motion of the hands. Such limitation prohibits their direct use in egocentric video settings, where hands and camera are continuously in motion. In this work, we propose HaWoR, a high-fidelity method for hand motion reconstruction in world coordinates from egocentric videos. We propose to decouple the task by reconstructing the hand motion in the camera space and estimating the camera trajectory in the world coordinate system. To achieve precise camera trajectory estimation, we propose an adaptive egocentric SLAM framework that addresses the shortcomings of traditional SLAM methods, providing robust performance under challenging camera dynamics. To ensure robust hand motion trajectories, even when the hands move out of view frustum, we devise a novel motion infiller network that effectively completes the missing frames of the sequence. Through extensive quantitative and qualitative evaluations, we demonstrate that HaWoR achieves state-of-the-art performance on both hand motion reconstruction and world-frame camera trajectory estimation under different egocentric benchmark datasets. Code and models are available on https://hawor-project.github.io/ .
• Abstract（参考訳）: 3Dハンドポーズ推定の出現にもかかわらず、現在の手法は、主に手の世界空間の動きを見越して、カメラフレーム内のシングルイメージの3Dハンド再構成に焦点を当てている。 このような制限は、手とカメラが継続的に動き続けるエゴセントリックなビデオ設定での使用を禁止している。 本研究では,エゴセントリックビデオからの世界座標における手動再構成のための高忠実度手法HaWoRを提案する。 本研究では,カメラ空間における手の動きを再構成し,世界座標系におけるカメラ軌跡を推定することにより,タスクを分離することを提案する。 精度の高いカメラ軌道推定を実現するために,従来のSLAM手法の欠点に対処する適応型エゴセントリックSLAMフレームワークを提案する。 本研究は,手の動き軌跡の堅牢性を確保するため,手の動きをフラストタルから外した場合でも,シーケンスの欠落フレームを効果的に完了させる新しい動作インフィルネットワークを考案する。 本研究では,HawoRが手動再建と世界フレームカメラトラジェクトリ推定の両面において,エゴセントリックなベンチマークデータセット下での最先端性能を実現することを実証する。 コードとモデルはhttps://hawor-project.github.io/で公開されている。

関連論文リスト

• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)
• UniHOI: Learning Fast, Dense and Generalizable 4D Reconstruction for Egocentric Hand Object Interaction Videos [25.41337525728398]
  密集した4次元再構成に必要な全ての変数を統一するモデルであるUniHOIを導入する。 UniHOIは、動きの存在下で、高速で密度が高く、一般的な単眼的なHOIシーンを再構築するための最初のアプローチである。
  論文  参考訳（メタデータ） (2024-11-14T02:57:11Z)
• World-Grounded Human Motion Recovery via Gravity-View Coordinates [60.618543026949226]
  本研究では,新しい重力-視座標系における人間のポーズ推定手法を提案する。 提案したGVシステムは、ビデオフレーム毎に自然に重力に整合し、一意に定義されている。 提案手法は,カメラ空間と地上設定の両方でよりリアルな動きを再現し,精度と速度の両方で最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-09-10T17:25:47Z)
• DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction [65.46359561104867]
  モノクラーカメラ入力からのオンライン2Dおよび3Dポイントトラッキングの課題を対象としている。 我々は3Dガウススプラッティングを利用して動的シーンをオンラインに再構築する。 我々は,オンラインのポイントトラッキングとリコンストラクションを推進し,様々な現実のシナリオに適用可能にすることを目的としている。
  論文  参考訳（メタデータ） (2024-09-03T17:58:03Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• Decoupling Human and Camera Motion from Videos in the Wild [67.39432972193929]
  本研究では,野生の映像から地球規模の人間の軌道を再構築する手法を提案する。 カメラと人間の動きを分離することで、人間を同じ世界座標系に配置することができる。
  論文  参考訳（メタデータ） (2023-02-24T18:59:15Z)
• GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras [99.07219478953982]
  ダイナミックカメラで記録したモノクロビデオから3次元グローバルなヒューマンメッシュリカバリのためのアプローチを提案する。 われわれはまず,視覚的動作に基づいて隠蔽されたヒトの身体運動を自己回帰的に埋め込む,深部再生運動充填装置を提案する。 従来の研究とは対照的に,我々の手法はダイナミックカメラを用いても,一貫したグローバル座標で人間のメッシュを再構築する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。