論文の概要: Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation

• arxiv url: http://arxiv.org/abs/2603.17396v1
• Date: Wed, 18 Mar 2026 06:18:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.540913
• Title: Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation
• Title（参考訳）: 3次元ハンドポーズ推定のためのジェスチャー認識事前学習とトークンフュージョン
• Authors: Rui Hong, Jana Kosecka,
• Abstract要約: ジェスチャーのセマンティクスが3次元ポーズ推定の強力な帰納的バイアスとなることを示す。 本稿では,情報埋め込み空間を学習するジェスチャー認識事前学習という2段階のフレームワークを提案する。 InterHand2.6Mの実験では、ジェスチャー認識による事前学習が一貫した精度の向上を実証している。
• 参考スコア（独自算出の注目度）: 3.0979829079231447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Estimating 3D hand pose from monocular RGB images is fundamental for applications in AR/VR, human-computer interaction, and sign language understanding. In this work we focus on a scenario where a discrete set of gesture labels is available and show that gesture semantics can serve as a powerful inductive bias for 3D pose estimation. We present a two-stage framework: gesture-aware pretraining that learns an informative embedding space using coarse and fine gesture labels from InterHand2.6M, followed by a per-joint token Transformer guided by gesture embeddings as intermediate representations for final regression of MANO hand parameters. Training is driven by a layered objective over parameters, joints, and structural constraints. Experiments on InterHand2.6M demonstrate that gesture-aware pretraining consistently improves single-hand accuracy over the state-of-the-art EANet baseline, and that the benefit transfers across architectures without any modification.
• Abstract（参考訳）: モノクロRGB画像から3Dハンドポーズを推定することは、AR/VR、人間とコンピュータのインタラクション、手話理解の応用に不可欠である。 本研究では,個別のジェスチャーラベルが利用できるシナリオに注目し,ジェスチャーのセマンティクスが3次元ポーズ推定の強力な帰納バイアスとなることを示す。 我々は、InterHand2.6Mから粗いジェスチャーラベルと細かなジェスチャーラベルを用いて情報埋め込み空間を学習するジェスチャー認識事前学習と、MANOハンドパラメータの最終的な回帰のための中間表現としてジェスチャー埋め込みによってガイドされる接合単位のトークン変換を行う2段階のフレームワークを提案する。 トレーニングは、パラメータ、関節、構造的制約に対して階層化された目標によって駆動される。 InterHand2.6Mの実験では、ジェスチャー認識による事前トレーニングが最先端のEANetベースラインよりも一貫した精度を向上し、その利点が変更することなくアーキテクチャ間で伝達されることが示されている。

関連論文リスト

• AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis [50.793806818677716]
  AffordGraspは、物理的に安定し、セマンティックに忠実な人間の握りを高精度に生成する。 AffordGraspは、手ポーズの空きを意識した潜在表現を二重条件拡散プロセスに統合する。 AffordGraspはHO-3D, OakInk, GRAB, AffordPoseの4つの命令強化ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-03-09T06:56:35Z)
• Learning to Align and Refine: A Foundation-to-Diffusion Framework for Occlusion-Robust Two-Hand Reconstruction [50.952228546326516]
  単眼画像からの両手再建は、複雑でダイナミックな手の位置が原因で、永続的な課題に直面している。 既存のアプローチはそのようなアライメントの問題に悩まされ、しばしば不整合と侵入の成果物をもたらす。 本稿では,視覚基礎モデルからの2次元事前ガイダンスを正確に整合させる2段階のファンデーション・ツー・ディフュージョンフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-22T14:42:27Z)
• Learning Interaction-aware 3D Gaussian Splatting for One-shot Hand Avatars [47.61442517627826]
  本稿では,3次元ガウススプラッティング(GS)と単一画像入力と手を相互作用するアニマタブルアバターを提案する。 提案手法は大規模なInterHand2.6Mデータセットの広範な実験により検証される。
  論文  参考訳（メタデータ） (2024-10-11T14:14:51Z)
• DICE: End-to-end Deformation Capture of Hand-Face Interactions from a Single Image [98.29284902879652]
  DICEは1枚の画像から変形認識による手と顔のインタラクションを再現する最初のエンドツーエンド手法である。 ローカルな変形場とグローバルなメッシュ位置の回帰を2つのネットワークブランチに切り離すことが特徴である。 標準的なベンチマークと、精度と物理的妥当性の点から見れば、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-26T00:08:29Z)
• HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields [96.04424738803667]
  HOISDFは手動ポーズ推定ネットワークである。 手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。 そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-26T22:48:37Z)
• CLIP-Hand3D: Exploiting 3D Hand Pose Estimation via Context-Aware Prompting [38.678165053219644]
  CLIP-Hand3Dと呼ばれるモノクローナル画像から新しい3Dハンドポーズ推定器を提案する。 ここでは,CLIPに基づくコントラスト学習パラダイムに従って,一対のポーズテキスト機能に対するセマンティック一貫性を最大化する。 いくつかのパブリックハンドベンチマークの実験では、提案したモデルがはるかに高速な推論速度を達成することが示されている。
  論文  参考訳（メタデータ） (2023-09-28T03:40:37Z)
• Monocular 3D Reconstruction of Interacting Hands via Collision-Aware Factorized Refinements [96.40125818594952]
  単眼のRGB画像から3Dインタラクションハンドを再構築する試みを初めて行った。 提案手法では, 高精度な3次元ポーズと最小の衝突で3次元ハンドメッシュを生成することができる。
  論文  参考訳（メタデータ） (2021-11-01T08:24:10Z)
• 3D Hand Pose and Shape Estimation from RGB Images for Improved Keypoint-Based Hand-Gesture Recognition [25.379923604213626]
  本稿では3次元手とポーズ推定のためのキーポイントに基づくエンドツーエンドフレームワークを提案する。 研究ケースとして手身認識タスクにうまく適用できる。
  論文  参考訳（メタデータ） (2021-09-28T17:07:43Z)
• Learning to Disambiguate Strongly Interacting Hands via Probabilistic Per-pixel Part Segmentation [84.28064034301445]
  自己相似性と、それぞれの手にピクセル観察を割り当てるあいまいさは、最終的な3Dポーズエラーの大きな原因である。 1つの単眼画像から2つの手の3次元ポーズを推定する新しい手法であるDIGITを提案する。 提案手法は,InterHand2.6Mデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-07-01T13:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。