論文の概要: KAD-Net: Kinematics-Aware Decoupled Learning for Robust 3D Hand Pose Estimation from a Single Depth Image
- arxiv url: http://arxiv.org/abs/2609.12559v1
- Date: Fri, 11 Sep 2026 08:03:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.677596
- Title: KAD-Net: Kinematics-Aware Decoupled Learning for Robust 3D Hand Pose Estimation from a Single Depth Image
- Title(参考訳): KAD-Net:単一深度画像からのロバスト3次元ハンドポース推定のためのキネマティクス対応デカップリング学習
- Abstract要約: 本研究では3次元手振り推定のためのKinematics-Aware Decoupled Learning Network (KAD-Net)を提案する。
KAD-Netの潜在的な応用には、人間とコンピュータのインタラクション、バーチャルリアリティ、ジェスチャーベースの制御システムなどがある。
- 参考スコア(独自算出の注目度): 10.882034465532742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the complexity of hand kinematics and self-occlusion, existing 3D hand pose estimation methods based on single depth images struggle to comprehensively model the topological dependencies among hand joints. Furthermore, traditional hierarchical multitask architectures enforce a shared feature space for both 2D joint localization and depth estimation, which can induce mutual interference. To address these challenges, we propose a Kinematics-Aware Decoupled Learning Network (KAD-Net) for robust 3D hand pose estimation. Specifically, we first design a Finger Topology Constraint (FTC) module to enhance the representation of distal joints. This module utilizes three consecutive finger joints to construct a local kinematic representation to impose topological constraints, which supplements the kinematic features of the distal joints. The FTC module leverages the structural context from visible joints to assist in locating occluded distal joints, thereby improving robustness to occlusion. Additionally, we propose a task-decoupled hierarchical multitask framework. This framework separates 2D joint localization from depth estimation and incorporates a dedicated multitask learning strategy for depth regression, effectively isolating the UV and depth features to mitigate mutual interference and negative transfer. Extensive experiments demonstrate that KAD-Net outperforms existing methods on several benchmark datasets (ICVL, NYU, and MSRA), achieving state-of-the-art accuracy in 3D hand pose estimation. Potential applications of KAD-Net include human-computer interaction, virtual reality and gesture-based control systems.
- Abstract(参考訳): 手のキネマティクスと自己閉塞の複雑さにより,手関節間のトポロジ的依存関係を包括的にモデル化することが困難である。
さらに、従来の階層型マルチタスクアーキテクチャは、2次元の関節局在化と深さ推定の両方に共通な特徴空間を強制し、相互干渉を誘発する。
これらの課題に対処するために,堅牢な3次元ポーズ推定のためのKinematics-Aware Decoupled Learning Network (KAD-Net)を提案する。
具体的には、遠位関節の表現性を高めるために、まず指トポロジ制約(FTC)モジュールを設計する。
このモジュールは3つの連続した指関節を用いて局所的な運動学的表現を構築して位相的制約を課し、遠位関節の運動学的特徴を補う。
FTCモジュールは、可視関節の構造的コンテキストを活用して、閉塞した遠位端関節の位置の特定を支援し、閉塞に対する堅牢性を向上させる。
さらに,タスク分離型階層型マルチタスクフレームワークを提案する。
このフレームワークは、深度推定から2次元関節の局所化を分離し、深度回帰のための専用のマルチタスク学習戦略を導入し、紫外線と深度特徴を効果的に分離し、相互干渉と負の伝達を緩和する。
大規模な実験により、KAD-Netはいくつかのベンチマークデータセット(ICVL、NYU、MSRA)の既存の手法よりも優れており、3Dハンドポーズ推定における最先端の精度を実現している。
KAD-Netの潜在的な応用には、人間とコンピュータのインタラクション、バーチャルリアリティ、ジェスチャーベースの制御システムなどがある。
関連論文リスト
- HandMCM: Multi-modal Point Cloud-based Correspondence State Space Model for 3D Hand Pose Estimation [60.2305990057581]
3Dハンドポーズ推定は、拡張現実のような多くの人間とコンピュータのインタラクションアプリケーションにとって不可欠である。
HandMCMは強力な状態空間モデル(Mamba)に基づく新しい手法である
論文 参考訳(メタデータ) (2026-02-02T03:25:43Z) - Occlusion-Aware 3D Hand-Object Pose Estimation with Masked AutoEncoders [29.274913619777088]
本稿では,HOMAEと呼ばれるマスク付きオートエンコーダを用いたオクルージョンを意識したポーズ推定手法を提案する。
我々は,デコーダから抽出したマルチスケール特徴を統合し,符号付き距離場(SDF)を予測する。
DexYCBとHO3Dv2ベンチマークに挑戦する実験は、HOMAEが手動ポーズ推定において最先端のパフォーマンスを達成することを示した。
論文 参考訳(メタデータ) (2025-06-12T15:30:47Z) - Learning to Align and Refine: A Foundation-to-Diffusion Framework for Occlusion-Robust Two-Hand Reconstruction [50.952228546326516]
単眼画像からの両手再建は、複雑でダイナミックな手の位置が原因で、永続的な課題に直面している。
既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。
本稿では,視覚基礎モデルからの2次元事前ガイダンスを正確に整合させる2段階のファンデーション・ツー・ディフュージョンフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-22T14:42:27Z) - Collaborative Learning for Hand and Object Reconstruction with
Attention-guided Graph Convolution [49.10497573378427]
インタラクション中の手や物体のポーズと形状を推定すると、拡張現実や仮想現実を含む多くの応用が見つかる。
我々のアルゴリズムはオブジェクトモデルへの最適化であり、手動オブジェクトの相互作用を管理する物理規則を学習する。
広範に使用されている4つのベンチマークを用いて実験したところ、我々のフレームワークは3次元ポーズ推定における最先端の精度を超えて達成でき、また、密集した3次元手や物体の形状を復元できることがわかった。
論文 参考訳(メタデータ) (2022-04-27T17:00:54Z) - Higher-Order Implicit Fairing Networks for 3D Human Pose Estimation [1.1501261942096426]
2次元から3次元のポーズ推定のための初期残差接続を持つ高階グラフ畳み込みフレームワークを提案する。
我々のモデルは、体節間の長距離依存関係を捉えることができる。
2つの標準ベンチマークで行った実験と改善研究は、我々のモデルの有効性を実証した。
論文 参考訳(メタデータ) (2021-11-01T13:48:55Z) - Self-Supervised Learning of Depth and Ego-Motion from Video by
Alternative Training and Geometric Constraints from 3D to 2D [5.481942307939029]
ラベルなし単眼ビデオからの深度とエゴモーションの自己教師付き学習は有望な結果を得た。
本稿では,補助的なタスクを伴わずに深層学習性能を向上させることを目的とする。
我々は、トレーニング中により小さな深さ値に重点を置くために、ログスケールの3次元構造整合性損失を設計する。
論文 参考訳(メタデータ) (2021-08-04T11:40:53Z) - A hybrid classification-regression approach for 3D hand pose estimation
using graph convolutional networks [1.0152838128195467]
目的ごとの関係制約を学習する2段階のGCNベースのフレームワークを提案する。
第1フェーズは2D/3D空間を量子化し、その局所性に基づいて関節を2D/3Dブロックに分類する。
第2段階ではGCNベースのモジュールを使用し、隣り合う適応アルゴリズムを用いて関節関係を決定する。
論文 参考訳(メタデータ) (2021-05-23T10:09:10Z) - Enhanced 3D Human Pose Estimation from Videos by using Attention-Based
Neural Network with Dilated Convolutions [12.900524511984798]
従来のネットワークや制約の形式が、どのように注意の枠組みに組み込むことができるのかを体系的な設計で示します。
拡張畳み込みのマルチスケール構造により,時間受容場を適応させることにより,これを実現する。
提案手法は,Human3.6Mデータセット上での関節位置誤差の平均を33.4mmに減らし,最先端性能を達成し,既存の手法よりも優れる。
論文 参考訳(メタデータ) (2021-03-04T17:26:51Z) - Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。
我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。
ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
論文 参考訳(メタデータ) (2020-08-04T07:54:25Z) - Joint Hand-object 3D Reconstruction from a Single Image with
Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。
入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。
提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文 参考訳(メタデータ) (2020-06-28T09:50:25Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳(メタデータ) (2020-06-24T23:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。