論文の概要: The Invisible EgoHand: 3D Hand Forecasting through EgoBody Pose Estimation

• arxiv url: http://arxiv.org/abs/2504.08654v1
• Date: Fri, 11 Apr 2025 15:58:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-21 16:29:42.482141
• Title: The Invisible EgoHand: 3D Hand Forecasting through EgoBody Pose Estimation
• Title（参考訳）: 見えないEgoHand:EgoBody Poseの推定による3Dハンド予測
• Abstract要約: 本研究では,エゴセントリックなビデオから両手の3次元軌跡とポーズを予測する手法を提案する。 我々は全身のポーズ情報を活用し、他の関節が手の動きに制約を与えることを可能にする。 Ego-Exo4Dデータセット上でEgoH4を評価する。
• 参考スコア（独自算出の注目度）: 25.320774988055167
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Forecasting hand motion and pose from an egocentric perspective is essential for understanding human intention. However, existing methods focus solely on predicting positions without considering articulation, and only when the hands are visible in the field of view. This limitation overlooks the fact that approximate hand positions can still be inferred even when they are outside the camera's view. In this paper, we propose a method to forecast the 3D trajectories and poses of both hands from an egocentric video, both in and out of the field of view. We propose a diffusion-based transformer architecture for Egocentric Hand Forecasting, EgoH4, which takes as input the observation sequence and camera poses, then predicts future 3D motion and poses for both hands of the camera wearer. We leverage full-body pose information, allowing other joints to provide constraints on hand motion. We denoise the hand and body joints along with a visibility predictor for hand joints and a 3D-to-2D reprojection loss that minimizes the error when hands are in-view. We evaluate EgoH4 on the Ego-Exo4D dataset, combining subsets with body and hand annotations. We train on 156K sequences and evaluate on 34K sequences, respectively. EgoH4 improves the performance by 3.4cm and 5.1cm over the baseline in terms of ADE for hand trajectory forecasting and MPJPE for hand pose forecasting. Project page: https://masashi-hatano.github.io/EgoH4/
• Abstract（参考訳）: 自己中心的な視点から手の動きやポーズを予測することは、人間の意図を理解するのに不可欠である。 しかし,既存の手法では,手が視野で見える場合にのみ,手の動きを考慮せずに位置を予測することのみに焦点が当てられている。 この制限は、カメラの視界外であっても、ほぼ手の位置が推測可能であるという事実を見落としている。 本稿では,エゴセントリックな映像から両手の3次元軌跡とポーズを,視野内と外の両方で予測する手法を提案する。 本稿では,Egocentric Hand Forecasting(EgoH4)のための拡散型トランスフォーマーアーキテクチャを提案する。 我々は全身のポーズ情報を活用し、他の関節が手の動きに制約を与えることを可能にする。 手関節の視認性予測器と3D-to-2D再投射損失を併用し,手関節の視認性について検討した。 Ego-Exo4Dデータセット上でEgoH4を評価する。 我々は、156Kシーケンスでトレーニングし、それぞれ34Kシーケンスで評価する。 EgoH4は、手振り予測のADEと手振り予測のMPJPEで、ベースライン上で3.4cmと5.1cmの性能を改善する。 プロジェクトページ:https://masashi-hatano.github.io/EgoH4/

関連論文リスト

• HandsOnWorld: Unconstrained Egocentric Video Generation with Camera-Disentangled Hand Control [51.913695868638634]
  We present HandsOnWorld, a framework for hand-control egocentric video generation that for multi-view and marker-based motion capture, learning from unconstrained monocular video。 EgoVid-Proは、クリーンでプロタゴニストのみのハンドトラジェクトリのデータセットで、103Kのクリップと、さまざまな日常シーンの約1200万フレームにまたがる。 また, カメラから手表面への3次元光線表現, カメラと手の動きを表現レベルで切り離す3次元ハンドマップを提案する。
  論文  参考訳（メタデータ） (2026-07-02T12:14:02Z)
• EgoForce: Forearm-Guided Camera-Space 3D Hand Pose from a Monocular Egocentric Camera [40.28396219356337]
  EgoForceは、頑丈で絶対的な3Dハンドポーズを復元する、単眼の3Dハンドコンストラクションフレームワークである。 魚眼、視界、歪んだ広視野のカメラモデルを単一の統一ネットワークで運用する。 EgoForceは最先端の3D精度を実現し、カメラ空間のMPJPEを最大28%削減する。
  論文  参考訳（メタデータ） (2026-05-12T17:59:56Z)
• PAWS: Perception of Articulation in the Wild at Scale from Egocentric Videos [90.4816165292854]
  既存の学習ベースの手法は、高品質な3Dデータと手動アノテーションによる教師付きトレーニングに大きく依存している。 そこで本研究では,手動物体間相互作用からオブジェクトの調音を直接抽出する手法であるPAWSを提案する。 提案手法は,HD-EPICやArti4Dを含む公開データセット上で評価し,ベースラインよりも大幅に改善された。
  論文  参考訳（メタデータ） (2026-03-26T15:16:51Z)
• Bring Your Rear Cameras for Egocentric 3D Human Pose Estimation [67.9563319914377]
  本稿では,フルボディトラッキングのためのヘッドマウントデバイス(HMD)設計におけるリアカメラの有用性について検討する。 マルチビュー情報と熱マップの不確実性を用いて2次元関節熱マップ推定を改良するトランスフォーマーに基づく新しい手法を提案する。 実験の結果,バックビューを備えた新しいカメラ構成は,3次元ポーズトラッキングの優れたサポートを提供することがわかった。
  論文  参考訳（メタデータ） (2025-03-14T17:59:54Z)
• Estimating Body and Hand Motion in an Ego-sensed World [62.61989004520802]
  頭部装着装置から人体の動きを推定するシステムであるEgoAlloについて述べる。 エゴセントリックなSLAMポーズとイメージのみを使用して、EgoAlloは条件付き拡散モデルからサンプリングを行い、3Dボディポーズ、高さ、手のパラメータを推定する。
  論文  参考訳（メタデータ） (2024-10-04T17:59:57Z)
• EMAG: Ego-motion Aware and Generalizable 2D Hand Forecasting from Egocentric Videos [9.340890244344497]
  2次元手の位置を予測するための既存の手法は視覚的表現に依存しており、主に手動物体の相互作用に焦点を当てている。 本研究では,エゴモーション認識と一般化可能な2次元手指予測手法であるEMAGを提案する。 本モデルでは,従来手法よりも1.7%,7.0%性能が向上した。
  論文  参考訳（メタデータ） (2024-05-30T13:15:18Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• 3D Hand Pose Estimation in Everyday Egocentric Images [12.964086079352262]
  我々は、視線歪みと野生における3Dアノテーションの欠如から生じる課題に焦点を当てる。 日常の自我中心画像における3次元手ポーズ推定システムWildHandsを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:15:47Z)
• AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation [26.261767086366866]
  正確な3Dハンドポーズアノテーションを備えた大規模ベンチマークデータセットである AssemblyHands を提示する。 AssemblyHandsは490Kのエゴセントリックなイメージを含む3.0Mの注釈付きイメージを提供する。 我々の研究は、高品質の手のポーズが、行動を認識する能力を直接的に改善することを示しています。
  論文  参考訳（メタデータ） (2023-04-24T17:52:57Z)
• Ego-Body Pose Estimation via Ego-Head Pose Estimation [22.08240141115053]
  エゴセントリックなビデオシーケンスから3次元の人間の動きを推定することは、人間の行動理解において重要な役割を担い、VR/ARに様々な応用がある。 Ego-Head Pose Estimation (EgoEgo) と呼ばれる新しい手法を提案する。 この頭と体のポーズのゆがみは、ペア化されたエゴセントリックなビデオと3D人間の動きでデータセットをトレーニングする必要をなくす。
  論文  参考訳（メタデータ） (2022-12-09T02:25:20Z)
• Transformer-based Global 3D Hand Pose Estimation in Two Hands Manipulating Objects Scenarios [13.59950629234404]
  本報告では,エゴセントリックカメラとマルチビューカメラによるECCV 2022による人体・手・活動(HBHA)問題に対する第1位ソリューションについて述べる(手ポーズ推定)。 本研究では,2つの手と物体が自我中心の視点で相互作用している入力画像から,グローバルな3次元手ポーズを推定することを目的とする。 提案手法は,トランスアーキテクチャを用いたエンドツーエンドのマルチハンドポーズ推定を行う。
  論文  参考訳（メタデータ） (2022-10-20T16:24:47Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Body2Hands: Learning to Infer 3D Hands from Conversational Gesture Body Dynamics [87.17505994436308]
  身体の動きと手の動きは、非言語的コミュニケーション設定において強く相関しているという知見に基づいて構築する。 身体の動きのみを入力した場合の3次元手形状の予測タスクとして,この先行学習を定式化する。 本モデルでは,3次元手の動きのみを入力として,手の動きを説得力のある3次元手の動きを生成する。
  論文  参考訳（メタデータ） (2020-07-23T22:58:15Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。