論文の概要: StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video

• arxiv url: http://arxiv.org/abs/2605.18553v1
• Date: Mon, 18 May 2026 15:33:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:49.915057
• Title: StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video
• Title（参考訳）: StableHand:エゴセントリックビデオによる世界空間デュアルハンドモーション推定のための品質認識フローマッチング
• Authors: Huajian Zeng, Chaohua Yao, Yuantai Zhang, Jiaqi Yang, Rolandos Alexandros Potamias, Xingxing Zuo,
• Abstract要約: 本研究では,エゴセントリックビデオから相互作用する2つの手の世界空間4次元運動を復元するためのフローマッチングフレームワークを提案する。 以上の結果から,StableHandは,最強のベースラインと比較して,W-MPJPEを20～25%削減できることを示す。
• 参考スコア（独自算出の注目度）: 16.34074981480264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recovering world space 4D motion of two interacting hands from egocentric video is a fundamental capability for supervising robot policy learning, where wrist trajectories track the end-effector and finger articulations specify the grasp pose. Two major challenges arise in this setting: hands frequently leave the camera view for extended periods due to head motion, and persistent hand-object interactions cause severe occlusions of one or both hands. Existing methods uniformly condition on noisy hand motion observations without accounting for their per-frame reliability, leading to substantial performance degradation. Our key insight is that accurate world space hand motion estimation is tightly coupled with the quality of per-frame hand observations. To this end, we decompose the quality of hand motion observations extracted from an off-the-shelf hand pose estimator into four channels: wrist global translation and finger articulations for both hands. We propose StableHand, a quality-aware flow-matching framework conditioned on these four-channel quality signals, which are predicted by a learned quality network. We naturally incorporate the quality signals into the flow-matching process through a per-channel forward schedule, a quality-adjusted velocity target, AdaLN modulation of the DiT denoiser, and a quality-aware ODE initialization. This unified generative process preserves high-quality observations while reconstructing unreliable ones using a learned bimanual motion prior. Experiments on HOT3D and ARCTIC, two egocentric benchmarks featuring long missing-hand spans and persistent hand-object occlusions, show that StableHand achieves state-of-the-art performance across all reported metrics, reducing W-MPJPE by 20-25% compared to the strongest baseline, with the largest gains on heavily occluded ARCTIC sequences.
• Abstract（参考訳）: 自己中心型ビデオから相互作用する2つの手の世界空間4D運動を復元することは、手首の軌跡がエンドエフェクタを追跡し、指の関節がつかむポーズを規定するロボットポリシー学習を監督する基本的な能力である。 この設定では2つの大きな課題が生じる:手は頭部の動きによる長期にわたってカメラの視界を離れ、永続的な手・物体の相互作用は片手または両手の激しい閉塞を引き起こす。 フレーム単位の信頼性を考慮せずに、ノイズの多い手の動きの観察に一様条件で既存手法を適用すれば、性能が大幅に低下する。 我々の重要な洞察は、正確な世界空間の手の動き推定は、フレームごとの手の動きの観測の質と密結合しているということである。 そこで,本研究では,市販の手ポーズ推定器から抽出した手の動きの観察の質を,手首のグローバル翻訳と両手指関節の4つのチャンネルに分解する。 本研究では,これらの4チャンネル品質信号に条件付き品質対応フローマッチングフレームワークであるStableHandを提案する。 本研究では、チャネルごとのフォワードスケジュール、品質調整速度目標、DiTデノイザのAdaLN変調、品質認識ODE初期化を通じて、フローマッチングプロセスに品質信号を自然に組み込む。 この統合された生成過程は、学習された双対運動を用いて信頼できないものを再構成しながら、高品質な観測を保っている。 HOT3DとARCTICの2つのエゴセントリックなベンチマークにおいて、長い手幅と永続的な手オブジェクトのオクルージョンを特徴とする実験により、StableHandは、報告されたすべての指標に対して最先端のパフォーマンスを達成し、W-MPJPEを最強のベースラインに比べて20-25%削減し、強閉塞のARCTICシークエンスで最大のゲインを得た。

関連論文リスト

• E-3DPSM: A State Machine for Event-Based Egocentric 3D Human Pose Estimation [73.63705002652638]
  イベントカメラは、ヘッドマウントデバイスからの単眼のエゴセントリックな3Dポーズ推定において利点がある。 既存の手法では3次元推定精度が低く、多くのアプリケーションでは不十分である。 本稿では,イベント駆動型連続ポーズ状態マシンであるE-3DPSMを紹介する。
  論文  参考訳（メタデータ） (2026-04-09T17:59:52Z)
• HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models [14.981963881449486]
  人間の手のきめ細かい説明を理解することは、ロボットによる外科手術のような高精細な設定において重要である。 現在の視覚言語モデル(VLM)は、特に複雑で明瞭な手ポーズの解釈において、きめ細かい空間的推論に苦しむ。 本稿では,視覚的質問応答による詳細な手指解剖の理解を評価するための大規模診断ベンチマークであるHandVQAを紹介する。
  論文  参考訳（メタデータ） (2026-03-27T12:42:26Z)
• Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
  モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。 既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。 単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-12T10:02:23Z)
• UniHand: A Unified Model for Diverse Controlled 4D Hand Motion Modeling [45.29560152294065]
  UniHandは、条件付きモーション合成として推定と生成の両方を定式化する統合拡散ベースのフレームワークである。 視覚観察は凍結したバックボーンで符号化され、専用のハンドパーセプトロンは画像特徴から直接手固有のキューを抽出する。 潜在拡散モデルは、様々な条件から一貫した動き列を合成する。
  論文  参考訳（メタデータ） (2026-02-25T06:53:15Z)
• WHED: A Wearable Hand Exoskeleton for Natural, High-Quality Demonstration Collection [7.615440875928701]
  We present WHED, a wearable hand-exoskeleton system designed for in-the-wild demonstration capture。 精度ピンチと全手囲いグリップにまたがる代表的把握および操作シーケンスの実現可能性を示す。
  論文  参考訳（メタデータ） (2026-02-20T00:12:45Z)
• Hand-Aware Egocentric Motion Reconstruction with Sequence-Level Context [17.735273173582716]
  本稿では,頭部軌跡と間欠的に見える手探触子を直接条件とする,最初の手認識型シーケンスレベルの拡散フレームワークHaMoSを提案する。 また, 身体形状や視野といったシーケンスレベルのコンテキストが, 正確な運動再構成に不可欠であることを示す。
  論文  参考訳（メタデータ） (2025-12-22T11:26:41Z)
• HandEval: Taking the First Step Towards Hand Quality Evaluation in Generated Images [23.918454005000328]
  我々は,手固有の品質評価モデルであるHandEvalを開発した。 HandEvalは、既存のSOTAメソッドよりも人間の判断と整合している。 HandEvalを画像生成とAIGC検出パイプラインに統合する。
  論文  参考訳（メタデータ） (2025-10-10T03:39:10Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• Deformer: Dynamic Fusion Transformer for Robust Hand Pose Estimation [59.3035531612715]
  既存の方法では、手のこもりが強かったり、ぼやけたりすると、手のポーズが難しい場合が多い。 ビデオでは、手の動きによって、片方のフレームに隠されたり、ぼやけたりして、手のさまざまな部分を観察することができる。 画像内の手の部分間の関係を暗黙的に推論するフレームワークであるDeformerを提案する。
  論文  参考訳（メタデータ） (2023-03-09T02:24:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。