論文の概要: Functional Hand Type Prior for 3D Hand Pose Estimation and Action Recognition from Egocentric View Monocular Videos

• arxiv url: http://arxiv.org/abs/2609.34149v1
• Date: Mon, 28 Sep 2026 02:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:26:18.191471
• Title: Functional Hand Type Prior for 3D Hand Pose Estimation and Action Recognition from Egocentric View Monocular Videos
• Title（参考訳）: エゴセントリックな一眼レフ映像からの3Dハンドポース推定と行動認識のための機能的ハンドタイプ
• Abstract要約: エゴセントリックな視点行動認識の現在の手法は、しばしば動的手の動きを知覚する際の課題に直面している。 機能的視点に基づく手型の実践的分類法を導入する。 また,手型のセマンティックな詳細を予め考慮した新しい手動作認識フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 20.074823409330723
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current methods for egocentric view action recognition often face challenges in perceiving dynamic hand movements relying solely on geometrical or physical information. In this work, we effectively address this problem by gaining insights into the correlation between functional hand configurations and objects, which improves the detailed interpretation of real-world scenarios. To this end, we introduce a practical taxonomy of hand types based on the functioning perspective and utilize it for per-frame hand type labeling on existing datasets. We also propose a novel hand action recognition framework considering semantic details of the hand type as prior. This approach boosts the network's understanding of the continuous hand interaction throughout the action sequence. Our whole pipeline consists of three main modules: (1) Feature Extraction, (2) Egocentric Knowledge Module, which estimates 3D hand pose, object category, and hand type leveraging short-term cues, and (2) Egocentric Action Module, which aggregates per-frame knowledge, including text embeddings of hand type, over a longer time. In our extensive experiments with large-scale benchmarks, FPHA and H2O, our model outperforms current state-of-the-art methods, demonstrating its superior performance.
• Abstract（参考訳）: エゴセントリックな視点行動認識の現在の手法は、幾何学的または物理的情報にのみ依存する動的な手の動きを知覚する上で、しばしば課題に直面している。 本研究では, 実世界のシナリオの詳細な解釈を改善するために, 機能的手構成とオブジェクトの相関に関する洞察を得ることにより, この問題を効果的に解決する。 この目的のために,機能的視点に基づく手型の実践的分類を導入し,既存のデータセット上でのフレーム単位の手型のラベル付けに活用する。 また,手型のセマンティックな詳細を予め考慮した新しい手動作認識フレームワークを提案する。 このアプローチは、アクションシーケンス全体の連続的なハンドインタラクションに対するネットワークの理解を促進する。 パイプライン全体は,(1)特徴抽出,(2)手ポーズを推定するエゴセントリック・ナレッジ・モジュール,(2)手入力のテキスト埋め込みを含むフレーム単位の知識を長期にわたって集約するエゴセントリック・アクション・モジュールの3つの主要モジュールから構成される。 大規模ベンチマークであるFPHAとH2Oによる大規模な実験では、我々のモデルは現在の最先端手法よりも優れており、その優れた性能を示している。

関連論文リスト

• Do Egocentric Video-Language Models Capture Both Hand- and Object-Centric Cues? [75.43540911934191]
  ハンドオブジェクトインタラクション(HOI)の認識には、手操作とオブジェクト変換の両方をキャプチャする必要がある。 本稿では,手動マスクトレーニングとHOI動的認識デコーダを組み合わせた新しい学習パラダイムを提案する。 我々のトレーニング戦略は、既存のモデルよりも手書きやオブジェクト中心の情報を効果的に活用することを示します。
  論文  参考訳（メタデータ） (2026-07-09T14:09:29Z)
• HandX: Scaling Bimanual Motion and Interaction Generation [55.486397101415]
  HandXはデータ、アノテーション、評価にまたがる統一された基盤である。 既存のデータセットを統合・フィルタリングし、新しいモーションキャプチャーデータセットを収集します。 新たに提案した手中心の指標によって支援された高品質なデキスタラスモーション生成実験を行った。
  論文  参考訳（メタデータ） (2026-03-30T17:59:49Z)
• HandMCM: Multi-modal Point Cloud-based Correspondence State Space Model for 3D Hand Pose Estimation [60.2305990057581]
  3Dハンドポーズ推定は、拡張現実のような多くの人間とコンピュータのインタラクションアプリケーションにとって不可欠である。 HandMCMは強力な状態空間モデル(Mamba)に基づく新しい手法である
  論文  参考訳（メタデータ） (2026-02-02T03:25:43Z)
• AssemblyHands-X: Modeling 3D Hand-Body Coordination for Understanding Bimanual Human Activities [27.634829042887358]
  本稿では,バイマニュアルアクティビティのためのマーカーレス3Dハンドボディベンチマークである AssemblyHands-X を紹介する。 このアプローチは多視点三角測量とSMPL-Xメッシュフィッティングを組み合わせることで,手と上半身の信頼性の高い3D登録を実現する。 提案実験により,ポーズに基づくアクション推論はビデオベースラインよりも効率的かつ正確であることが確認された。
  論文  参考訳（メタデータ） (2025-09-28T13:52:14Z)
• UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation [82.93208597526503]
  既存のメソッドは、オブジェクトと対話する素手または手に焦点を当てて、特殊化されている。 他のシナリオに適用しても、どちらのメソッドも柔軟にシナリオとパフォーマンスの低下を処理できません。 汎用的な3次元手動ポーズ推定のための統一的なアプローチであるUniHOPEを提案する。
  論文  参考訳（メタデータ） (2025-03-17T15:46:43Z)
• BimArt: A Unified Approach for the Synthesis of 3D Bimanual Interaction with Articulated Objects [70.20706475051347]
  BimArtは3Dバイマニュアルハンドインタラクションを音声オブジェクトと合成するための新しい生成手法である。 まず, 物体軌道上に配置された距離ベースの接触マップを, 音声認識特徴表現を用いて生成する。 学習された接触は手の動き生成装置のガイドに使われ、物体の動きや調音のための多彩で現実的なバイマニュアルの動きが生成されます。
  論文  参考訳（メタデータ） (2024-12-06T14:23:56Z)
• In My Perspective, In My Hands: Accurate Egocentric 2D Hand Pose and Action Recognition [1.4732811715354455]
  アクション認識は、エゴセントリックなビデオ理解に不可欠であり、ユーザの努力なしに日々の生活活動(ADL)の自動的かつ継続的なモニタリングを可能にする。 既存の文献では、計算集約的な深度推定ネットワークを必要とする3Dハンドポーズ入力や、不快な深度センサーを装着することに焦点を当てている。 EffHandEgoNetとEffHandEgoNetの2つの新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-14T17:33:33Z)
• Hand-Centric Motion Refinement for 3D Hand-Object Interaction via Hierarchical Spatial-Temporal Modeling [18.128376292350836]
  粗い手の動き改善のためのデータ駆動方式を提案する。 まず,手と物体の動的空間的関係を記述するために,手中心の表現を設計する。 第2に,手動物体相互作用の動的手がかりを捉えるために,新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-29T09:17:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。