論文の概要: UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation

• arxiv url: http://arxiv.org/abs/2503.13303v1
• Date: Mon, 17 Mar 2025 15:46:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:30:04.038505
• Title: UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation
• Title（参考訳）: UniHOPE: ハンドオンリーとハンドオブジェクトのポース推定のための統一的アプローチ
• Authors: Yinqiao Wang, Hao Xu, Pheng-Ann Heng, Chi-Wing Fu,
• Abstract要約: 既存のメソッドは、オブジェクトと対話する素手または手に焦点を当てて、特殊化されている。 他のシナリオに適用しても、どちらのメソッドも柔軟にシナリオとパフォーマンスの低下を処理できません。 汎用的な3次元手動ポーズ推定のための統一的なアプローチであるUniHOPEを提案する。
• 参考スコア（独自算出の注目度）: 82.93208597526503
• License:
• Abstract: Estimating the 3D pose of hand and potential hand-held object from monocular images is a longstanding challenge. Yet, existing methods are specialized, focusing on either bare-hand or hand interacting with object. No method can flexibly handle both scenarios and their performance degrades when applied to the other scenario. In this paper, we propose UniHOPE, a unified approach for general 3D hand-object pose estimation, flexibly adapting both scenarios. Technically, we design a grasp-aware feature fusion module to integrate hand-object features with an object switcher to dynamically control the hand-object pose estimation according to grasping status. Further, to uplift the robustness of hand pose estimation regardless of object presence, we generate realistic de-occluded image pairs to train the model to learn object-induced hand occlusions, and formulate multi-level feature enhancement techniques for learning occlusion-invariant features. Extensive experiments on three commonly-used benchmarks demonstrate UniHOPE's SOTA performance in addressing hand-only and hand-object scenarios. Code will be released on https://github.com/JoyboyWang/UniHOPE_Pytorch.
• Abstract（参考訳）: モノクロ画像から手と潜在的手持ち物体の3Dポーズを推定することは、長年の課題である。 しかし、既存のメソッドは、オブジェクトと対話する素手または手に焦点を当てて、特殊化されている。 他のシナリオに適用しても、どちらのメソッドも柔軟にシナリオとパフォーマンスの低下を処理できません。 本論文では,汎用的な3次元手動ポーズ推定手法であるUniHOPEを提案し,両シナリオを柔軟に適用する。 技術的には,手オブジェクトの特徴をオブジェクト切換器と統合し,把握状況に応じて手オブジェクトのポーズ推定を動的に制御する機能融合モジュールを設計する。 さらに,物体の有無にかかわらず,手ポーズ推定の頑健性を高めるために,現実的な非閉塞画像ペアを生成し,物体による手閉塞を学習するためのモデルを訓練し,咬合不変の特徴を学習するための多段階特徴強調手法を定式化した。 一般的に使用されている3つのベンチマークの大規模な実験は、ハンドオンリーとハンドオブジェクトのシナリオに対処するUniHOPEのSOTAパフォーマンスを示している。 コードはhttps://github.com/JoyboyWang/UniHOPE_Pytorchでリリースされる。

関連論文リスト

• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• Efficient Virtual View Selection for 3D Hand Pose Estimation [50.93751374572656]
  単一深度からの3次元手ポーズ推定のための仮想ビュー選択と融合モジュールを提案する。 提案する仮想ビュー選択と融合モジュールはどちらも3次元手ポーズ推定に有効である。
  論文  参考訳（メタデータ） (2022-03-29T11:57:53Z)
• Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis [72.34794624243281]
  ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。 3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
  論文  参考訳（メタデータ） (2020-04-09T07:55:01Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。