論文の概要: PCIE_EgoHandPose Solution for EgoExo4D Hand Pose Challenge
- arxiv url: http://arxiv.org/abs/2406.12219v1
- Date: Tue, 18 Jun 2024 02:41:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-19 22:58:48.410625
- Title: PCIE_EgoHandPose Solution for EgoExo4D Hand Pose Challenge
- Title（参考訳）: EgoExo4Dハンドポース問題に対するPCIE_EgoHandPoseソリューション
- Authors: Feng Chen, Ling Ding, Kanokphan Lertniphonphan, Jian Li, Kaer Huang, Zhepeng Wang,
- Abstract要約: 課題の主な目的は、RGBエゴセントリックなビデオ画像を用いて、21個の3D関節を含む手ポーズを正確に推定することである。
タスクの複雑さに対処するため,Hand Pose Vision Transformer (HP-ViT)を提案する。
HP−ViTは、MPJPEおよびRLE損失関数を利用して、3Dにおける関節位置を推定するViTバックボーンとトランスフォーマーヘッドとを備える。
提案手法は25.51MPJPEと8.49PA-MPJPEでハンドポースの1位を獲得した。
- 参考スコア（独自算出の注目度）: 12.31892993103657
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This report presents our team's 'PCIE_EgoHandPose' solution for the EgoExo4D Hand Pose Challenge at CVPR2024. The main goal of the challenge is to accurately estimate hand poses, which involve 21 3D joints, using an RGB egocentric video image provided for the task. This task is particularly challenging due to the subtle movements and occlusions. To handle the complexity of the task, we propose the Hand Pose Vision Transformer (HP-ViT). The HP-ViT comprises a ViT backbone and transformer head to estimate joint positions in 3D, utilizing MPJPE and RLE loss function. Our approach achieved the 1st position in the Hand Pose challenge with 25.51 MPJPE and 8.49 PA-MPJPE. Code is available at https://github.com/KanokphanL/PCIE_EgoHandPose
- Abstract（参考訳）: 本報告では,CVPR2024におけるEgoExo4Dハンドポースチャレンジに対する,我々のチームの 'PCIE_EgoHandPose' ソリューションについて述べる。
課題の主な目的は、タスクのために提供されるRGBエゴセントリックな映像を用いて、21個の3次元関節を含む手振りを正確に推定することである。
この作業は微妙な動きと閉塞のために特に困難である。
タスクの複雑さに対処するため,Hand Pose Vision Transformer (HP-ViT)を提案する。
HP−ViTは、MPJPEおよびRLE損失関数を利用して、3Dにおける関節位置を推定するViTバックボーンとトランスフォーマーヘッドとを備える。
提案手法は25.51MPJPEと8.49PA-MPJPEでハンドポースの1位を獲得した。
コードはhttps://github.com/KanokphanL/PCIE_EgoHandPoseで入手できる。
関連論文リスト
- PCIE_LAM Solution for Ego4D Looking At Me Challenge [25.029465595146533]
本報告では,CVPR2024におけるEgo4D Looking At Me Challengeのソリューションについて述べる。
課題の主な目的は、現場の人がカメラ着用者を見ているかどうかを正確に判断することである。
提案手法は,0.81mAPと0.93の精度で,私の挑戦に対する第1位を達成した。
論文 参考訳（メタデータ） (2024-06-18T02:16:32Z) - Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [88.25603931962071]
ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、エゴセントリックな視点からのインタラクションの総合的な3D理解が重要である。
我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。
提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
論文 参考訳（メタデータ） (2024-03-25T05:12:21Z) - Attention-Propagation Network for Egocentric Heatmap to 3D Pose Lifting [8.134443548271301]
EgoTAPは,高度に高精度な立体エゴセントリックな3Dポーズ推定のためのヒートマップから3Dポーズリフト法である。
本手法は,従来の最先端技術よりも質的,定量的に優れていた。
論文 参考訳（メタデータ） (2024-02-28T13:50:39Z) - Egocentric Whole-Body Motion Capture with FisheyeViT and Diffusion-Based
Motion Refinement [65.08165593201437]
本研究では,人体と手の動きを同時に推定する単一魚眼カメラを用いて,自我中心型全体モーションキャプチャーを探索する。
この課題は、高品質なデータセットの欠如、魚眼カメラの歪み、人間の身体の自己閉塞など、重大な課題を提起する。
そこで本研究では,魚眼画像の特徴を3次元人体ポーズ予測のための3次元熱マップ表現に変換した魚眼画像の特徴を抽出する手法を提案する。
論文 参考訳（メタデータ） (2023-11-28T07:13:47Z) - 1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023
Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction [11.551318550321938]
AssemblyHandsを使って、この課題は、単視点画像からエゴセントリックな3D手ポーズの推定に焦点を当てる。
ViTベースのバックボーンと、強力なモデルベースラインを提供する3Dキーポイント予測のためのシンプルな回帰器を採用しています。
提案手法は,テストデータセット上で12.21mmMPJPEを達成し,Egocentric 3D Hand Pose Estimation において第1位を獲得した。
論文 参考訳（メタデータ） (2023-10-07T10:25:50Z) - Look Ma, No Hands! Agent-Environment Factorization of Egocentric Videos [21.537003797760928]
エージェント(人間の手)と環境を分離するシーンの因子的表現を抽出することを提案する。
本実験は,エゴセントリックビデオの塗装品質向上におけるVIDMの有効性を実証するものである。
論文 参考訳（メタデータ） (2023-05-25T17:55:59Z) - EvHandPose: Event-based 3D Hand Pose Estimation with Sparse Supervision [50.060055525889915]
イベントカメラは3次元ポーズ推定において大きな可能性を示し、特に低消費電力で高速な動きと高ダイナミックレンジの課題に対処する。
特に手が動かない場合に手の動き情報をエンコードするイベント表現を設計することは困難である。
本稿では,手振り推定のためのイベント・ツー・Poseモジュールにおける新しい手振り表現を用いたEvHandPoseを提案する。
論文 参考訳（メタデータ） (2023-03-06T03:27:17Z) - Egocentric Video Task Translation @ Ego4D Challenge 2022 [109.30649877677257]
EgoTask Translationアプローチは、Ego4Dチャレンジにおけるエゴ中心のビデオタスク間の関係を探索する。
本稿では,他のタスク用に開発された既存のモデルを活用し,タスクを「翻訳」するタスクを主タスクに導入することを提案する。
提案手法は,2つのEgo4D課題において,PNRローカライゼーション課題において第1位,第3位にランクインする。
論文 参考訳（メタデータ） (2023-02-03T18:05:49Z) - Building Spatio-temporal Transformers for Egocentric 3D Pose Estimation [9.569752078386006]
過去のフレームからの情報を活用して、自己注意に基づく3D推定手順であるEgo-STANをガイドします。
具体的には、セマンティックにリッチな畳み込みニューラルネットワークに基づく特徴マップに付随する時間変換モデルを構築する。
我々は,xR-EgoPoseデータセットにおいて,Ego-STANの優れた性能を示す。
論文 参考訳（メタデータ） (2022-06-09T22:33:27Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳（メタデータ） (2020-08-07T17:34:28Z) - Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and
Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。
本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文 参考訳（メタデータ） (2020-03-30T19:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。