論文の概要: HandMCM: Multi-modal Point Cloud-based Correspondence State Space Model for 3D Hand Pose Estimation
- arxiv url: http://arxiv.org/abs/2602.01586v1
- Date: Mon, 02 Feb 2026 03:25:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.872177
- Title: HandMCM: Multi-modal Point Cloud-based Correspondence State Space Model for 3D Hand Pose Estimation
- Title(参考訳): HandMCM:3次元ハンドポース推定のためのマルチモーダルポイントクラウド対応状態空間モデル
- Authors: Wencan Cheng, Gim Hee Lee,
- Abstract要約: 3Dハンドポーズ推定は、拡張現実のような多くの人間とコンピュータのインタラクションアプリケーションにとって不可欠である。
HandMCMは強力な状態空間モデル(Mamba)に基づく新しい手法である
- 参考スコア(独自算出の注目度): 60.2305990057581
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: 3D hand pose estimation that involves accurate estimation of 3D human hand keypoint locations is crucial for many human-computer interaction applications such as augmented reality. However, this task poses significant challenges due to self-occlusion of the hands and occlusions caused by interactions with objects. In this paper, we propose HandMCM to address these challenges. Our HandMCM is a novel method based on the powerful state space model (Mamba). By incorporating modules for local information injection/filtering and correspondence modeling, the proposed correspondence Mamba effectively learns the highly dynamic kinematic topology of keypoints across various occlusion scenarios. Moreover, by integrating multi-modal image features, we enhance the robustness and representational capacity of the input, leading to more accurate hand pose estimation. Empirical evaluations on three benchmark datasets demonstrate that our model significantly outperforms current state-of-the-art methods, particularly in challenging scenarios involving severe occlusions. These results highlight the potential of our approach to advance the accuracy and reliability of 3D hand pose estimation in practical applications.
- Abstract(参考訳): 人間の手指のキーポイント位置を正確に推定する3Dハンドポーズ推定は、拡張現実のような多くの人間とコンピュータのインタラクションアプリケーションにとって不可欠である。
しかし, この課題は, 物体との相互作用によって引き起こされる手や咬合の自己閉塞によって, 重大な課題を生じさせる。
本稿では,これらの課題に対処するHandMCMを提案する。
我々のハンドMCMは強力な状態空間モデル(Mamba)に基づく新しい手法である。
局所的な情報注入・フィルタリング・対応モデリングのためのモジュールを組み込むことにより,提案する対応であるMambaは,鍵点の動的トポロジを,様々なオクルージョンシナリオにわたって効果的に学習する。
さらに、マルチモーダル画像特徴を統合することにより、入力の堅牢性と表現能力を高め、より正確なポーズ推定を行う。
3つのベンチマークデータセットに対する実証的な評価は、我々のモデルが最先端の手法、特に重度の閉塞を伴う挑戦的なシナリオにおいて著しく優れていることを示している。
これらの結果は,実用応用における3次元手ポーズ推定の精度と信頼性を向上するためのアプローチの可能性を強調した。
関連論文リスト
- UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation [82.93208597526503]
既存のメソッドは、オブジェクトと対話する素手または手に焦点を当てて、特殊化されている。
他のシナリオに適用しても、どちらのメソッドも柔軟にシナリオとパフォーマンスの低下を処理できません。
汎用的な3次元手動ポーズ推定のための統一的なアプローチであるUniHOPEを提案する。
論文 参考訳(メタデータ) (2025-03-17T15:46:43Z) - DeProPose: Deficiency-Proof 3D Human Pose Estimation via Adaptive Multi-View Fusion [57.83515140886807]
欠陥認識型3Dポーズ推定の課題について紹介する。
DeProPoseは、トレーニングの複雑さを減らすために、ネットワークアーキテクチャをシンプルにするためのフレキシブルなメソッドである。
我々は,新しい3次元ポーズ推定データセットを開発した。
論文 参考訳(メタデータ) (2025-02-23T03:22:54Z) - HandDAGT: A Denoising Adaptive Graph Transformer for 3D Hand Pose Estimation [15.606904161622017]
本稿では,ハンドポーズ推定のためのDenoising Adaptive Graph Transformer(HandDAGT)を提案する。
特定のキーポイントを推定するための運動対応と局所幾何学的特徴の寄与を適応的に評価する新しい注意機構が組み込まれている。
実験の結果,提案手法は4つの手ポーズベンチマークデータセットにおいて,既存の手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2024-07-30T04:53:35Z) - HandDiff: 3D Hand Pose Estimation with Diffusion on Image-Point Cloud [60.47544798202017]
ハンドポーズ推定は、様々な人間とコンピュータの相互作用アプリケーションにおいて重要なタスクである。
本論文は,手形画像点雲上での正確な手ポーズを反復的に認知する拡散型手ポーズ推定モデルであるHandDiffを提案する。
実験の結果,提案したHandDiffは,4つの挑戦的なハンドポーズベンチマークデータセットにおいて,既存のアプローチよりも大幅に優れていた。
論文 参考訳(メタデータ) (2024-04-04T02:15:16Z) - HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。
頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。
HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
論文 参考訳(メタデータ) (2023-12-27T22:35:33Z) - Denoising Diffusion for 3D Hand Pose Estimation from Images [38.20064386142944]
本稿では,モノクロ画像やシーケンスからの3次元手ポーズ推定の問題に対処する。
本稿では,3次元ハンドレグレッションのための新しいエンド・ツー・エンド・エンド・フレームワークを提案する。
提案モデルは,2次元の片手画像を3Dに持ち上げる際に,最先端の性能を提供する。
論文 参考訳(メタデータ) (2023-08-18T12:57:22Z) - Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and
Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。
本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文 参考訳(メタデータ) (2020-03-30T19:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。