論文の概要: Video-Conditioned Generative Joint 2D-3D Hand Motion Recovery

• arxiv url: http://arxiv.org/abs/2610.10512v1
• Date: Wed, 07 Oct 2026 17:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.09594
• Title: Video-Conditioned Generative Joint 2D-3D Hand Motion Recovery
• Title（参考訳）: ビデオコンディションによる2D-3Dハンドモーションの復元
• Abstract要約: ビデオシーケンスから直接手の動きを復元する統合生成フレームワークJoHanを提案する。 本モデルでは,2次元および3次元の局所的手ポーズ列を同時生成し,時間的ダイナミクスと相互表現対応を学習する。 挑戦的なベンチマーク実験では、局所的な手作業やカメラ空間の再構築において、精度と速度が大幅に向上した。
• 参考スコア（独自算出の注目度）: 32.53958859586033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering faithful 3D hand motion from video remains challenging due to frequent occlusions and incomplete visual observations, which make frame-wise pose estimates unreliable and temporally inconsistent. To address this problem, we propose JoHan, a unified generative framework that recovers hand motion directly from video sequences without relying on intermediate per-frame pose predictions. Trained from scratch, our model jointly generates aligned 2D and 3D local hand pose sequences by learning their temporal dynamics and cross-representation correspondence. The generated 2D trajectories exploit direct spatial and temporal cues from the 2D images to guide the following generative 3D motion reconstruction, while the learned motion prior promotes temporal consistency. Their learned 2D-3D correspondence further enables recovery of the hand's global position and orientation relative to the camera. Extensive experiments on challenging benchmarks demonstrate significantly improved accuracy and speed in local hand-pose and camera-space reconstruction. Notably, our method captures much better hand-motion dynamics, producing significantly smoother motion than previous methods while maintaining high per-frame pose accuracy.
• Abstract（参考訳）: ビデオから忠実な3D手の動きを復元することは、頻繁に閉塞や不完全な視覚的観察のために困難であり、フレームワイドのポーズ推定は信頼性が悪く、時間的に矛盾する。 この問題に対処するために,中間フレーム毎のポーズ予測に頼ることなく,ビデオシーケンスから直接手の動きを復元する統合生成フレームワークJoHanを提案する。 スクラッチから学習したモデルでは,時間的ダイナミクスと相互表現対応を学習し,協調的に2次元と3次元の局所的なポーズ列を生成する。 生成された2次元軌跡は、2次元画像からの直接的空間的および時間的手がかりを利用して、次の生成的3次元運動再構成を誘導し、学習された動きは時間的一貫性を促進する。 学習した2D-3D対応により、カメラに対する手のグローバルな位置と向きの回復が可能になる。 挑戦的なベンチマークに関する大規模な実験は、局所的な手作業やカメラ空間の再構築において、精度と速度が大幅に向上したことを示している。 特に,本手法は手動動態の精度を向上し,フレーム当たりのポーズ精度を高く保ちつつ,従来の手法よりもはるかにスムーズな動作を実現する。

関連論文リスト

• MotionScale: Reconstructing Appearance, Geometry, and Motion of Dynamic Scenes with Scalable 4D Gaussian Splatting [54.859943475818234]
  MotionScaleは、4Dガウススティングフレームワークで、大きなシーンや拡張シーケンスに効率よくスケールする。 挑戦的な実世界のベンチマークの実験では、MotionScaleは復元品質と時間的安定性の両方において最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2026-03-31T06:03:59Z)
• DreamPose3D: Hallucinative Diffusion with Prompt Learning for 3D Human Pose Estimation [18.240580699213197]
  本研究では,3次元ポーズ推定のための行動認識推論と時間的想像力を組み合わせた拡散型フレームワークDreamPose3Dを紹介する。 DreamPose3Dは2次元ポーズシーケンスから抽出したタスク関連アクションプロンプトを用いて動的にデノナイズ処理を条件付け、ハイレベルなインテントをキャプチャする。 本研究では,関節間の構造的関係を効果的にモデル化するために,運動的関節親和性を注目機構に組み込んだ表現エンコーダを提案する。 幻覚的ポーズデコーダは、トレーニング中の時間的コヒーレントな3Dポーズを予測する。
  論文  参考訳（メタデータ） (2025-11-12T17:31:41Z)
• DynamicPose: Real-time and Robust 6D Object Pose Tracking for Fast-Moving Cameras and Objects [4.15520326813392]
  トレーニング不要な6DポーズトラッキングフレームワークであるDynamicPoseを紹介する。 素早く動くカメラやオブジェクトのシナリオにおけるロバストさのトラッキングを改善する。
  論文  参考訳（メタデータ） (2025-08-16T07:25:08Z)
• Diffusion-based 3D Hand Motion Recovery with Intuitive Physics [29.784542628690794]
  画像に基づく再構成を向上する新しい3Dハンドモーションリカバリフレームワークを提案する。 本モデルでは,初期値に条件付された改良された動き推定値の分布を抽出し,改良されたシーケンスを生成する。 我々は、キー動作状態とその関連する動作制約を含む手動物体相互作用における貴重な直感的な物理知識を同定する。
  論文  参考訳（メタデータ） (2025-08-03T16:44:24Z)
• GaVS: 3D-Grounded Video Stabilization via Temporally-Consistent Local Reconstruction and Rendering [54.489285024494855]
  ビデオの安定化は、元のユーザの動きの意図を保ちながら、望ましくないシャキネスを除去するので、ビデオ処理に欠かせない。 既存のアプローチは、運用するドメインによって、ユーザエクスペリエンスを低下させるいくつかの問題に悩まされます。 ビデオの安定化を時間的に一貫性のある局所的再構成とレンダリングのパラダイムとして再構成する,新しい3Dグラウンドアプローチである textbfGaVS を紹介する。
  論文  参考訳（メタデータ） (2025-06-30T15:24:27Z)
• CRiM-GS: Continuous Rigid Motion-Aware Gaussian Splatting from Motion-Blurred Images [14.738528284246545]
  CRiM-GS は textbfContinuous textbfRigid textbfMotion-aware textbfGaussian textbfSplatting である。 リアルタイムレンダリング速度を維持しながら、モーションブルーの画像から正確な3Dシーンを再構築する。
  論文  参考訳（メタデータ） (2024-07-04T13:37:04Z)
• 3D Pose Estimation of Two Interacting Hands from a Monocular Event Camera [59.846927201816776]
  本稿では,1つの単眼イベントカメラから手の動きの速い2つの手の動きを3次元追跡するための最初のフレームワークを紹介する。 本手法は, 半教師付き機能的注意機構により, 左手のあいまいさに対処し, 交差点の損失を補足して手衝突を解消する。
  論文  参考訳（メタデータ） (2023-12-21T18:59:57Z)
• Consistent 3D Hand Reconstruction in Video via self-supervised Learning [67.55449194046996]
  本稿では,モノクロ映像から高精度で一貫した3Dハンドを再構築する手法を提案する。 検出された2次元手指キーポイントと画像テクスチャは、3次元手の形状とテクスチャに関する重要な手がかりを提供する。 自己監督型3Dハンド再構成モデルであるS2HAND$を提案する。
  論文  参考訳（メタデータ） (2022-01-24T09:44:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。