論文の概要: HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

• arxiv url: http://arxiv.org/abs/2607.11221v1
• Date: Mon, 13 Jul 2026 08:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.390813
• Title: HandFlow: Fully Generative 4D Hand Recovery with Flow Matching
• Title（参考訳）: HandFlow: フローマッチングによる完全な4Dハンドリカバリ
• Abstract要約: HandFlowは、時間的コヒーレントな3Dハンドポーズと、モノクロビデオからの形状推定のための、完全に生成的なフローマッチングフレームワークである。 最先端のパフォーマンスを実現し、特に世界空間の精度と時間的滑らかさを大きく向上させる。 1つのGPU HandFlowでは、150フレームのシーケンスを47fpsで再構築する。
• 参考スコア（独自算出の注目度）: 25.56265773611543
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate monocular 4D hand reconstruction remains challenging. Per-frame discriminative regressors lack temporal context and often produce jittery predictions. Temporal models improve consistency by aggregating information across frames, but they are typically deterministic regressors, making them vulnerable to ambiguous observations caused by occlusion and motion blur. Generative modeling offers a natural alternative by learning a prior over plausible hand motion sequences, enabling coherent hand-state recovery when visual evidence is incomplete or unreliable. Motivated by this observation, we present HandFlow, a fully generative flow-matching framework for temporally coherent 3D hand pose and shape estimation from monocular video. Given visual and skeletal observations, HandFlow denoises an entire temporal window of MANO parameters through a single ODE integration. To support this, we use a Flux-style dual-stream transformer that attends across the full sequence to capture long-range dependencies without autoregressive decoding, and a confidence-aware continuous masking mechanism that blends observed features with learnable mask tokens to handle noisy or missing observations. Experiments on DexYCB and HOT3D show that HandFlow achieves state-of-the-art performance, with particularly large gains in world-space accuracy and temporal smoothness. It reduces world-space pose error by over 30% compared with the strongest baseline and achieves the lowest acceleration error among all evaluated methods, while remaining competitive in per-frame pose accuracy. Moreover, on a single GPU HandFlow reconstructs a 150-frame sequence at 47 fps, about 12x faster than the fastest prior video-based method, with reconstruction itself accounting for only a small fraction of the end-to-end latency.
• Abstract（参考訳）: 正確な単眼4D手指再建は依然として困難である。 フレーム単位の差別的回帰器は時間的文脈を欠き、しばしばジッタリな予測を生成する。 時間モデルは、フレーム間で情報を集約することで一貫性を向上させるが、通常は決定論的回帰器であり、閉塞や動きのぼけによって引き起こされる曖昧な観察に弱い。 生成的モデリングは、プラウチブルな手の動き列を前もって学習することで自然な代替手段を提供し、視覚的証拠が不完全または信頼できないときに、コヒーレントな手の状態回復を可能にする。 本研究は,時間的コヒーレントな3Dハンドポーズとモノクロ映像からの形状推定のための,完全に生成的なフローマッチングフレームワークであるHandFlowを提案する。 HandFlowは、視覚的および骨格的な観察を前提として、単一のODE統合を通じて、MANOパラメータの時間的ウィンドウ全体を識別する。 これをサポートするために、フルシーケンスにまたがるFluxスタイルのデュアルストリームトランスフォーマーを使用して、自動回帰デコードなしで長距離依存関係をキャプチャする。 DexYCBとHOT3Dの実験によると、HandFlowは最先端のパフォーマンスを実現しており、特に世界空間の精度と時間的滑らかさが大きく向上している。 最強のベースラインと比較して、世界空間のポーズ誤差を30%以上削減し、評価されたすべてのメソッドの中で最低加速誤差を達成する一方で、フレーム当たりのポーズ精度の競争力を維持する。 さらに、1つのGPU HandFlowでは、150フレームのシーケンスを47fpsで再構築する。

関連論文リスト

• MotionMAR: Multi-scale Auto-Regressive Human Motion Reconstruction from Sparse Observations [51.837372131319285]
  MotionMARは、スパース観測からの運動再構成のためのフレームワークである。 まず、人間の動きのグローバルな軌跡を推定し、時間的詳細を徐々に洗練する。 MotionMARは、AMASSデータセット上で最先端の精度を達成する。
  論文  参考訳（メタデータ） (2026-06-22T08:15:56Z)
• Feed-forward Motion In-betweening for Any 4D [34.801496888575166]
  コンディショニングを伴う任意の4次元メッシュを実現するためのフレームワークを提案する。 我々はDyMesh16とDyMesh32ベンチマークで高い性能と制御性を示した。
  論文  参考訳（メタデータ） (2026-06-20T16:18:13Z)
• RAFT-MSF++: Temporal Geometry-Motion Feature Fusion for Self-Supervised Monocular Scene Flow [51.43025173196566]
  単眼のシーンフロー推定は画像列から高密度な3次元動きを復元することを目的としている。 RAFT-MSF++は,時間的特徴を融合して深度とシーンフローを推定する自己教師型マルチフレームフレームワークである。 実験の結果、RAFT-MSF++はKITTI Scene Flowベンチマークで24.14%のSF-allを達成した。
  論文  参考訳（メタデータ） (2026-04-21T11:32:49Z)
• Grasp in Gaussians: Fast Monocular Reconstruction of Dynamic Hand-Object Interactions [66.64605515970584]
  単一のモノクロビデオから動的3次元物体間相互作用を再構築する頑健な手法であるガウス語でGraspを提示する。 我々のキーとなる洞察は、コンパクトなガウス・オブ・ガウス表現を用いて、正確かつ時間的に安定な手動物体の動きを復元できるということである。 公開ベンチマークの実験では、GraGは時間的にコヒーレントな手-物体の相互作用を前よりも6.4倍高速に再構成している。
  論文  参考訳（メタデータ） (2026-04-14T16:19:12Z)
• End-to-End Spatial-Temporal Transformer for Real-time 4D HOI Reconstruction [74.31251139839047]
  THOは、ビデオと3Dテンプレートから、人間の動きと調整された物体の動きを前方に予測する、エンドツーエンドの空間-時間変換器である。 実験により、THOは1つの4090 GPU上で31.5 FPSの推論速度で動作し、以前の最適化ベースの手法よりも600倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-03-15T15:21:36Z)
• Forge4D: Feed-Forward 4D Human Reconstruction and Interpolation from Uncalibrated Sparse-view Videos [27.595035122927204]
  本研究では,非校正されたスパースビュー映像からの時間的整列表現を効率よく校正するフィードフォワード4次元人間の再構成とモデルを提案する。 新たに,隣接する2つのフレーム間の3次元ガウス運動の高密度な動きを予測するための動き予測モジュールを設計した。 実験では、ドメイン内データセットとドメイン外データセットの両方において、モデルの有効性を示す。
  論文  参考訳（メタデータ） (2025-09-29T02:47:14Z)
• SuperFlow++: Enhanced Spatiotemporal Consistency for Cross-Modal Data Pretraining [62.433137130087445]
  SuperFlow++は、連続するカメラペアを使用して事前トレーニングと下流タスクを統合する新しいフレームワークである。 SuperFlow++は様々なタスクや運転条件で最先端のメソッドよりも優れています。 強力な一般化性と計算効率により、SuperFlow++は、自動運転におけるデータ効率の高いLiDARベースの認識のための新しいベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:57Z)
• Enhanced Spatio-Temporal Context for Temporally Consistent Robust 3D Human Motion Recovery from Monocular Videos [5.258814754543826]
  本稿では,モノクロ映像からの時間的一貫した動き推定手法を提案する。 汎用的なResNetのような機能を使う代わりに、本手法ではボディ認識機能表現と独立したフレーム単位のポーズを使用する。 提案手法は, 高速化誤差を著しく低減し, 既存の最先端手法よりも優れる。
  論文  参考訳（メタデータ） (2023-11-20T10:53:59Z)
• OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction [14.130915525776055]
  RGBDに基づくリアルタイム動的3次元再構成は、フレーム間運動推定の不正確さに悩まされる。 オクルージョンフュージョン(OcclusionFusion, OcclusionFusion)は、オクルージョンを意識した3次元運動を計算し、再構成を誘導する手法である。 本手法は,既存の単一ビューベースリアルタイム手法よりも大きなマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-03-15T15:09:01Z)
• Consistency Guided Scene Flow Estimation [159.24395181068218]
  CGSFは立体映像からの3次元シーン構造と動きの同時再構成のための自己教師型フレームワークである。 提案モデルでは,課題の画像の相違やシーンフローを確実に予測できることを示す。 最先端技術よりも優れた一般化を実現し、目に見えない領域に迅速かつ堅牢に適応する。
  論文  参考訳（メタデータ） (2020-06-19T17:28:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。