論文の概要: OccRobNet : Occlusion Robust Network for Accurate 3D Interacting Hand-Object Pose Estimation

• arxiv url: http://arxiv.org/abs/2503.21723v1
• Date: Thu, 27 Mar 2025 17:36:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:51:21.905104
• Title: OccRobNet : Occlusion Robust Network for Accurate 3D Interacting Hand-Object Pose Estimation
• Title（参考訳）: OccRobNet : Occlusion Robust Network for accurate 3D Interacting Hand-Object Pose Estimation
• Authors: Mallika Garg, Debashis Ghosh, Pyari Mohan Pradhan,
• Abstract要約: 咬合は3Dのポーズを推定する上で難しい問題の一つだ。 本稿では,入力されたRGB画像から3次元手オブジェクトのポーズを推定するための,頑健で高精度なオクルージョン手法を提案する。 提案手法は,まずCNNモデルを用いて手関節のローカライズを行い,その後文脈情報を抽出して補修する。
• 参考スコア（独自算出の注目度）: 5.311735227179715
• License:
• Abstract: Occlusion is one of the challenging issues when estimating 3D hand pose. This problem becomes more prominent when hand interacts with an object or two hands are involved. In the past works, much attention has not been given to these occluded regions. But these regions contain important and beneficial information that is vital for 3D hand pose estimation. Thus, in this paper, we propose an occlusion robust and accurate method for the estimation of 3D hand-object pose from the input RGB image. Our method includes first localising the hand joints using a CNN based model and then refining them by extracting contextual information. The self attention transformer then identifies the specific joints along with the hand identity. This helps the model to identify the hand belongingness of a particular joint which helps to detect the joint even in the occluded region. Further, these joints with hand identity are then used to estimate the pose using cross attention mechanism. Thus, by identifying the joints in the occluded region, the obtained network becomes robust to occlusion. Hence, this network achieves state-of-the-art results when evaluated on the InterHand2.6M, HO3D and H$_2$O3D datasets.
• Abstract（参考訳）: 咬合は3Dのポーズを推定する上で難しい問題の一つだ。 この問題は、手が物体または2つの手と相互作用するとき、より顕著になる。 過去の作品では、これらの閉鎖された地域にはあまり注意が払われていない。 しかし、これらの領域には、3Dハンドポーズ推定に不可欠な重要で有益な情報が含まれている。 そこで本稿では,入力されたRGB画像から3次元手オブジェクトのポーズを推定するための,頑健かつ高精度なオクルージョン手法を提案する。 提案手法は,まずCNNモデルを用いて手関節のローカライズを行い,その後文脈情報を抽出して補修する。 そして、自己注意変換器は、ハンドアイデンティティとともに特定の関節を識別する。 これにより、モデルが特定の関節の持ち主を特定するのに役立ち、閉塞領域でも関節を検出するのに役立ちます。 さらに、これらの手身の関節を用いて、クロスアテンション機構を用いてポーズを推定する。 これにより、閉塞領域の接合部を同定することにより、得られたネットワークは閉塞に対して堅牢になる。 したがって、このネットワークはInterHand2.6M、HO3D、H$_2$O3Dデータセットで評価すると最先端の結果が得られる。

関連論文リスト

• SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition [5.359837526794863]
  ハンドポーズは、エゴセントリックな視点における行動認識のための重要な情報である。 擬似深度画像のみを用いてRGBフレームに基づく自家中心の3次元ポーズ推定を改善することを提案する。
  論文  参考訳（メタデータ） (2024-08-19T14:30:29Z)
• HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
  ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。 本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。 実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-04-04T02:15:16Z)
• HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields [96.04424738803667]
  HOISDFは手動ポーズ推定ネットワークである。 手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。 そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-26T22:48:37Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• HandOccNet: Occlusion-Robust 3D Hand Mesh Estimation Network [57.206129938611454]
  本稿では,新しい3Dハンドメッシュ推定ネットワークHandOccNetを提案する。 閉鎖領域に手情報を注入することで、HandOccNetは3Dハンドメッシュベンチマークの最先端性能に達する。
  論文  参考訳（メタデータ） (2022-03-28T08:12:16Z)
• HandsFormer: Keypoint Transformer for Monocular 3D Pose Estimation ofHands and Object in Interaction [33.661745138578596]
  単色画像からの密接な相互作用で両手の3次元ポーズを推定する頑健で正確な手法を提案する。 本手法は, 両手関節の電位2d位置をヒートマップの極値として抽出することから始まる。 これらの位置の外観と空間エンコーディングを変圧器への入力として使用し、注意メカニズムを利用して関節の正しい構成を整理します。
  論文  参考訳（メタデータ） (2021-04-29T20:19:20Z)
• InterHand2.6M: A Dataset and Baseline for 3D Interacting Hand Pose Estimation from a Single RGB Image [71.17227941339935]
  大規模データセットであるInterHand2.6Mと,1枚のRGB画像から3次元インタラクションハンドポーズ推定を行うネットワークであるInterNetを提案する。 実験では,InterHand2.6Mのインタラクションハンドデータを利用する場合,3次元インタラクションハンドポーズ推定の精度が大きく向上することを示した。 この新しいデータセットの強力なベースラインとして機能するInterHand2.6M上でのInterNetの精度についても報告する。
  論文  参考訳（メタデータ） (2020-08-21T05:15:58Z)
• Two-hand Global 3D Pose Estimation Using Monocular RGB [0.0]
  我々は、単眼のRGB入力画像のみを用いて、両手のグローバルな3D関節位置を推定する難しい課題に取り組む。 本稿では,手の位置を正確に把握する多段階畳み込みニューラルネットワークに基づくパイプラインを提案する。 RGBのみの入力を用いて両手の3Dハンドトラッキングを高精度に行う。
  論文  参考訳（メタデータ） (2020-06-01T23:53:52Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。