論文の概要: 1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023 Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction

• arxiv url: http://arxiv.org/abs/2310.04769v2
• Date: Tue, 10 Oct 2023 03:48:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-12 15:48:18.618919
• Title: 1st Place Solution of Egocentric 3D Hand Pose Estimation Challenge 2023 Technical Report:A Concise Pipeline for Egocentric Hand Pose Reconstruction
• Title（参考訳）: egocentric 3d hand pose estimation challenge 2023テクニカルレポート:egocentric hand pose reconstructionの簡潔なパイプライン
• Authors: Zhishan Zhou, Zhi Lv, Shihao Zhou, Minqiang Zou, Tong Wu, Mochen Yu, Yao Tang, Jiajun Liang
• Abstract要約: AssemblyHandsを使って、この課題は、単視点画像からエゴセントリックな3D手ポーズの推定に焦点を当てる。 ViTベースのバックボーンと、強力なモデルベースラインを提供する3Dキーポイント予測のためのシンプルな回帰器を採用しています。 提案手法は,テストデータセット上で12.21mmMPJPEを達成し,Egocentric 3D Hand Pose Estimation において第1位を獲得した。
• 参考スコア（独自算出の注目度）: 11.551318550321938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This report introduce our work on Egocentric 3D Hand Pose Estimation workshop. Using AssemblyHands, this challenge focuses on egocentric 3D hand pose estimation from a single-view image. In the competition, we adopt ViT based backbones and a simple regressor for 3D keypoints prediction, which provides strong model baselines. We noticed that Hand-objects occlusions and self-occlusions lead to performance degradation, thus proposed a non-model method to merge multi-view results in the post-process stage. Moreover, We utilized test time augmentation and model ensemble to make further improvement. We also found that public dataset and rational preprocess are beneficial. Our method achieved 12.21mm MPJPE on test dataset, achieve the first place in Egocentric 3D Hand Pose Estimation challenge.
• Abstract（参考訳）: 本稿では, egocentric 3d hand pose estimation workshop について紹介する。 AssemblyHandsを使って、この課題は、単視点画像からエゴセントリックな3D手ポーズの推定に焦点を当てる。 コンペでは、ViTベースのバックボーンと、強力なモデルベースラインを提供する3Dキーポイント予測のためのシンプルな回帰器を採用しています。 そこで我々は,ハンドオブジェクトのオクルージョンと自己オクルージョンが性能劣化を引き起こすことに気付き,プロセス後のマルチビュー結果をマージする非モデル手法を提案した。 さらに,テスト時間増強とモデルアンサンブルを利用してさらなる改善を行った。 また、パブリックデータセットとrational preprocessが有益であることも分かりました。 提案手法は,テストデータセット上で12.21mmMPJPEを達成し,Egocentric 3D Hand Pose Estimation において第1位を獲得した。

関連論文リスト

• HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
  ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。 本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。 実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-04T02:15:16Z)
• ThermoHands: A Benchmark for 3D Hand Pose Estimation from Egocentric Thermal Images [12.887546538760436]
  熱画像に基づくエゴセントリックな3Dハンドポーズ推定のための新しいベンチマークであるThermoHandsを提案する。 このベンチマークには、28の被験者から収集されたマルチビューとマルチスペクトルのデータセットが含まれており、手動オブジェクトと手動仮想インタラクションを実行している。 本稿では,2つのトランスフォーマーモジュールを有効エゴセントリックな3Dハンドポーズ推定に利用した新しいベースライン手法であるTherFormerを提案する。
  論文  参考訳（メタデータ） (2024-03-14T21:01:06Z)
• AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation [26.261767086366866]
  正確な3Dハンドポーズアノテーションを備えた大規模ベンチマークデータセットである AssemblyHands を提示する。 AssemblyHandsは490Kのエゴセントリックなイメージを含む3.0Mの注釈付きイメージを提供する。 我々の研究は、高品質の手のポーズが、行動を認識する能力を直接的に改善することを示しています。
  論文  参考訳（メタデータ） (2023-04-24T17:52:57Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• TriHorn-Net: A Model for Accurate Depth-Based 3D Hand Pose Estimation [8.946655323517092]
  TriHorn-Netは、ディープイメージのポーズ推定精度を改善するために、特定のイノベーションを使用する新しいモデルである。 第1の革新は、深度画像空間における2次元関節位置推定への3次元手ポーズ推定の分解である。 第2のイノベーションはPixDropoutで、私たちの知る限り、手深度画像のための最初の外見に基づくデータ拡張手法です。
  論文  参考訳（メタデータ） (2022-06-14T19:08:42Z)
• Building Spatio-temporal Transformers for Egocentric 3D Pose Estimation [9.569752078386006]
  過去のフレームからの情報を活用して、自己注意に基づく3D推定手順であるEgo-STANをガイドします。 具体的には、セマンティックにリッチな畳み込みニューラルネットワークに基づく特徴マップに付随する時間変換モデルを構築する。 我々は,xR-EgoPoseデータセットにおいて,Ego-STANの優れた性能を示す。
  論文  参考訳（メタデータ） (2022-06-09T22:33:27Z)
• Efficient Virtual View Selection for 3D Hand Pose Estimation [50.93751374572656]
  単一深度からの3次元手ポーズ推定のための仮想ビュー選択と融合モジュールを提案する。 提案する仮想ビュー選択と融合モジュールはどちらも3次元手ポーズ推定に有効である。
  論文  参考訳（メタデータ） (2022-03-29T11:57:53Z)
• Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose Estimation [70.32536356351706]
  本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。 ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。 本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2022-03-29T07:14:58Z)
• Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
  本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。 主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。 本稿では,D2S(Deep-to-scale)投影法を提案する。
  論文  参考訳（メタデータ） (2020-10-27T03:31:35Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。