論文の概要: Enhancing Hands in 3D Whole-Body Pose Estimation with Conditional Hands Modulator

• arxiv url: http://arxiv.org/abs/2603.14726v1
• Date: Mon, 16 Mar 2026 02:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.989881
• Title: Enhancing Hands in 3D Whole-Body Pose Estimation with Conditional Hands Modulator
• Title（参考訳）: 条件付きハンドズモジュレータを用いた3次元全身電位推定における手強化
• Authors: Gyeongsik Moon,
• Abstract要約: Hand4Whole++は、事前訓練された全身とポーズ推定器の長所を利用するモジュラーフレームワークである。 CHAMは、トレーニング済みの手ポーズ推定器から抽出した手固有の特徴を用いて、全身の特徴ストリームを変調する。 同時に、手ポーズ推定器によって予測される指の関節と手形を組み込み、それらを全体メッシュに整列させる。
• 参考スコア（独自算出の注目度）: 20.313985552253033
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurately recovering hand poses within the body context remains a major challenge in 3D whole-body pose estimation. This difficulty arises from a fundamental supervision gap: whole-body pose estimators are trained on full-body datasets with limited hand diversity, while hand-only estimators, trained on hand-centric datasets, excel at detailed finger articulation but lack global body awareness. To address this, we propose Hand4Whole++, a modular framework that leverages the strengths of both pre-trained whole-body and hand pose estimators. We introduce CHAM (Conditional Hands Modulator), a lightweight module that modulates the whole-body feature stream using hand-specific features extracted from a pre-trained hand pose estimator. This modulation enables the whole-body model to predict wrist orientations that are both accurate and coherent with the upper-body kinematic structure, without retraining the full-body model. In parallel, we directly incorporate finger articulations and hand shapes predicted by the hand pose estimator, aligning them to the full-body mesh via differentiable rigid alignment. This design allows Hand4Whole++ to combine globally consistent body reasoning with fine-grained hand detail. Extensive experiments demonstrate that Hand4Whole++ substantially improves hand accuracy and enhances overall full-body pose quality.
• Abstract（参考訳）: 身体のコンテキスト内で正確に復元される手ポーズは、3次元全体のポーズ推定において大きな課題である。 この困難は、基本的な監督のギャップから生じる: 全身のポーズ推定装置は、手動の多様性に制限のある全体データセットで訓練される一方、手動のみの推定装置は、手動中心のデータセットで訓練され、詳細な指の明瞭さに優れるが、グローバルな身体認識が欠如している。 そこで本研究では,事前学習した全身とポーズ推定器の長所を活用するモジュール型フレームワークであるHand4Whole++を提案する。 トレーニング済みの手ポーズ推定器から抽出した手固有の特徴を用いて,全身の特徴ストリームを変調する軽量モジュールであるCHAM(Conditional Hands Modulator)を紹介する。 この変調により、全身モデルを再訓練することなく、上半身の運動構造に正確かつ一貫性のある手首の向きを予測できる。 同時に,手ポーズ推定器によって予測される指の関節と手形を直接組み込んで,識別可能な剛性アライメントによって全体メッシュにアライメントする。 この設計により、Hand4Whole++は、グローバルに一貫性のあるボディ推論と詳細な手の詳細を組み合わせることができる。 大規模な実験では、Hand4Whole++が手作業の正確性を大幅に向上し、全身のポーズの質を向上させることが示されている。

関連論文リスト

• Affordance-Guided Diffusion Prior for 3D Hand Reconstruction [32.653360446211735]
  そこで本稿では,手-物間相互作用の可読性を考慮したテキスト記述による手ポーズ改善のための生成前処理を提案する。 提案手法では,可愛らしい手ポーズの分布を可視性記述に基づいて学習する拡散型生成モデルを用いる。
  論文  参考訳（メタデータ） (2025-10-01T04:36:11Z)
• VTON-HandFit: Virtual Try-on for Arbitrary Hand Pose Guided by Hand Priors Embedding [32.862533877948444]
  VTON-HandFitは手閉塞症例の外観と構造を再構成する。 手形外乱埋め込みモジュールは、手の構造パラメトリックと視覚的外観の特徴に手先をゆがめる。 モデル画像のハンドテンプレートから、構造エッジの知識をよりよく学習するために、手持ちの制約損失をカスタマイズする。
  論文  参考訳（メタデータ） (2024-08-22T12:36:10Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)
• 3D Interacting Hand Pose Estimation by Hand De-occlusion and Removal [85.30756038989057]
  単一のRGB画像から3Dインタラクションハンドポーズを推定することは、人間の行動を理解するのに不可欠である。 本稿では,難易度の高い手ポーズ推定タスクを分解し,各手のポーズを別々に推定することを提案する。 実験の結果,提案手法は従来の手ポーズ推定手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-07-22T13:04:06Z)
• Embodied Hands: Modeling and Capturing Hands and Bodies Together [61.32931890166915]
  人間は、コミュニケーションとタスクの解決のために、手と体を一緒に移動します。 ほとんどの方法は、体と手の3Dモデリングと追跡を別々に扱う。 我々は、手と体の相互作用をモデルとして定式化し、それをフルボディの4Dシーケンスに適合させる。
  論文  参考訳（メタデータ） (2022-01-07T18:59:32Z)
• Adversarial Motion Modelling helps Semi-supervised Hand Pose Estimation [116.07661813869196]
  そこで本稿では,非ラベルビデオに対人トレーニングとモーションモデリングのアイデアを組み合わせることを提案する。 本研究は,非ラベル映像系列の半教師あり学習により,逆方向が手ポーズ推定器の特性の向上につながることを示す。 このアプローチの主な利点は、ペアのトレーニングデータよりもはるかに容易に、未ペアのビデオとジョイントシーケンスデータを利用することができることです。
  論文  参考訳（メタデータ） (2021-06-10T17:50:19Z)
• Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
  HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。 本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
  論文  参考訳（メタデータ） (2020-03-30T19:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。