論文の概要: Transformer-based Global 3D Hand Pose Estimation in Two Hands Manipulating Objects Scenarios

• arxiv url: http://arxiv.org/abs/2210.11384v1
• Date: Thu, 20 Oct 2022 16:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 15:18:42.807944
• Title: Transformer-based Global 3D Hand Pose Estimation in Two Hands Manipulating Objects Scenarios
• Title（参考訳）: 変圧器を用いた2手操作物体シナリオのグローバル3次元ハンドポース推定
• Authors: Hoseong Cho, Donguk Kim, Chanwoo Kim, Seongyeong Lee and Seungryul Baek
• Abstract要約: 本報告では,エゴセントリックカメラとマルチビューカメラによるECCV 2022による人体・手・活動(HBHA)問題に対する第1位ソリューションについて述べる(手ポーズ推定)。 本研究では,2つの手と物体が自我中心の視点で相互作用している入力画像から,グローバルな3次元手ポーズを推定することを目的とする。 提案手法は,トランスアーキテクチャを用いたエンドツーエンドのマルチハンドポーズ推定を行う。
• 参考スコア（独自算出の注目度）: 13.59950629234404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This report describes our 1st place solution to ECCV 2022 challenge on Human Body, Hands, and Activities (HBHA) from Egocentric and Multi-view Cameras (hand pose estimation). In this challenge, we aim to estimate global 3D hand poses from the input image where two hands and an object are interacting on the egocentric viewpoint. Our proposed method performs end-to-end multi-hand pose estimation via transformer architecture. In particular, our method robustly estimates hand poses in a scenario where two hands interact. Additionally, we propose an algorithm that considers hand scales to robustly estimate the absolute depth. The proposed algorithm works well even when the hand sizes are various for each person. Our method attains 14.4 mm (left) and 15.9 mm (right) errors for each hand in the test set.
• Abstract（参考訳）: 本報告では,エゴセントリックカメラとマルチビューカメラによるECCV 2022による人体・手・活動(HBHA)問題に対する第1位ソリューションについて述べる。 この課題では,2つの手と物体が相互作用している入力画像から,世界的3次元手ポーズを推定することを目的としている。 提案手法はトランスフォーマーアーキテクチャを用いてエンドツーエンドのマルチハンドポーズ推定を行う。 特に,本手法は両手が相互作用するシナリオにおいて手ポーズを強く推定する。 また, 絶対深度を頑健に推定するために, ハンドスケールを考慮したアルゴリズムを提案する。 提案アルゴリズムは,手の大きさがそれぞれ異なる場合にも有効である。 テストセットの各手に対して14.4mm (左) と15.9mm (右) の誤差を発生させる。

関連論文リスト

• SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition [5.359837526794863]
  ハンドポーズは、エゴセントリックな視点における行動認識のための重要な情報である。 擬似深度画像のみを用いてRGBフレームに基づく自家中心の3次元ポーズ推定を改善することを提案する。
  論文  参考訳（メタデータ） (2024-08-19T14:30:29Z)
• In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition [1.4732811715354455]
  アクション認識は、エゴセントリックなビデオ理解に不可欠であり、ユーザの努力なしに日々の生活活動(ADL)の自動的かつ継続的なモニタリングを可能にする。 既存の文献では、計算集約的な深度推定ネットワークを必要とする3Dハンドポーズ入力や、不快な深度センサーを装着することに焦点を当てている。 EffHandEgoNetとEffHandEgoNetの2つの新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-14T17:33:33Z)
• HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
  ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。 本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。 実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-04T02:15:16Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• LG-Hand: Advancing 3D Hand Pose Estimation with Locally and Globally Kinematic Knowledge [0.693939291118954]
  本稿では3次元手ポーズ推定のための強力な手法であるLG-Handを提案する。 キネマティックな情報が重要な役割を担い、3次元手ポーズ推定の性能に寄与すると主張している。 提案手法は,Person Hand Action Benchmarkデータセット上で有望な結果を得る。
  論文  参考訳（メタデータ） (2022-11-06T15:26:32Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)
• HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation ofHands and Object in Interaction [33.661745138578596]
  単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。 本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。 これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
  論文  参考訳（メタデータ） (2021-04-29T20:19:20Z)
• H2O: Two Hands Manipulating Objects for First Person Interaction Recognition [70.46638409156772]
  両手操作対象のマーカーレス3Dアノテーションを用いて,エゴセントリックな対話認識のための包括的なフレームワークを提案する。 本手法は,2つの手の3次元ポーズと操作対象の6次元ポーズのアノテーションと,それぞれのフレームのインタラクションラベルを生成する。 我々のデータセットは、H2O (2 Hands and Objects)と呼ばれ、同期されたマルチビューRGB-D画像、対話ラベル、オブジェクトクラス、左右の手でのグラウンドトルース3Dポーズ、6Dオブジェクトポーズ、グラウンドトルースカメラポーズ、オブジェクトメッシュ、シーンポイントクラウドを提供する。
  論文  参考訳（メタデータ） (2021-04-22T17:10:42Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。