論文の概要: The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

• arxiv url: http://arxiv.org/abs/2606.30308v1
• Date: Mon, 29 Jun 2026 13:53:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.251883
• Title: The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction
• Title（参考訳）: ハンドモーション再構成におけるビデオ拡散モデルの有効性について
• Abstract要約: ViDiHandは、エゴセントリックなビデオから4Dの手の動きを再現するためのパイプラインだ。 予め訓練されたビデオ拡散モデルに基づいており、世界史を保存しながら手の特徴を専門とする。 ARCTIC、HOT3D、HOI4Dでは、ViDiHandは従来の方法よりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 36.627109956900256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 4D hand motion reconstruction from egocentric video is bottlenecked by clear limitations of existing methods: image-based pipelines depend on a detector that fails under heavy occlusion, while video-based methods rely on temporal modules learned only from scarce hand-pose annotations, a narrow signal insufficient to model motion dynamics, occlusion reasoning, and hand-object interaction. These capabilities, however, are exactly what video generative models must implicitly acquire when trained to synthesize coherent video at internet scale. Motivated by this, we present ViDiHand, which leverages the representations of a pretrained video diffusion model to reconstruct 4D two-hand pose. We adapt it via a hand-overlay rendering objective that specializes its features for hands while preserving its world priors. A decoder then recovers metric-scale pose from the adapted features. The whole pipeline operates directly on full frames--no detector, no infiller, and no test-time optimization. On ARCTIC, HOT3D, and HOI4D, ViDiHand substantially outperforms prior methods, establishing video diffusion models as a powerful new foundation for hand motion reconstruction and a promising route to scalable in-the-wild data collection for embodied AI. Project page: https://vidihand.github.io.
• Abstract（参考訳）: 画像ベースのパイプラインは、重閉塞下で失敗する検出器に依存し、ビデオベースの手法は、希少な手動アノテーションからのみ学習された時間モジュール、モーションダイナミクスのモデル化に不十分な狭い信号、オクルージョン推論、手動物体の相互作用に依存している。 しかし、これらの能力は、インターネット規模でコヒーレントなビデオを合成する訓練を受けたときに暗黙的に取得しなければならないビデオ生成モデルである。 そこで本研究では,事前学習した映像拡散モデルの表現を利用して4次元2手ポーズを再構成するViDiHandを提案する。 我々は、ハンドオーバーレイレンダリングの目的によって適応し、世界の先行を保ちながら、手の特徴を専門とする。 デコーダは、適応された特徴からメトリックスケールのポーズを回復する。 パイプライン全体がフルフレームで直接動作する - 検出器もインフィルもテストタイムの最適化もない。 ARCTIC、HOT3D、HOI4Dでは、ViDiHandは従来の方法よりも大幅に優れており、手動再構成のための強力な新しい基盤としてビデオ拡散モデルを確立し、AIを具現化したスケーラブルな内蔵データコレクションへの有望なルートを確立している。 プロジェクトページ: https://vidihand.github.io.com

関連論文リスト

• DreamHand: Repurposing Video Diffusion Models for Occlusion-Robust Egocentric 3D Hand Motion Recovery [51.92897182932217]
  Egocentric Videoは、組み込みAIのためのスケーラブルな操作データを提供する。 しかし、重度物体の閉塞と頻繁な視界外ギャップのため、3次元手指軌跡の復元は困難である。 オフラインのクリップレベルフレームワークであるDreamHandを導入し、決定論的クリーンレイテンシを使って機能を抽出し、双方向時空間デコーダでデコードする。
  論文  参考訳（メタデータ） (2026-08-20T17:46:24Z)
• ViPS: Video-informed Pose Spaces for Auto-Rigged Meshes [55.32681167870698]
  Video-informed Pose Spaces (ViPS)は、自動リップメッシュのための有効な調律の潜時分布を検出するフィードフォワードフレームワークである。 ViPSは生成ビデオの先行値を所定のリグパラメータ化上の普遍分布に転送する。 評価の結果,VPSは,合成アーティストが作成した4Dデータに基づいて訓練した最先端の手法の性能と,妥当性と多様性の両面で一致していることがわかった。
  論文  参考訳（メタデータ） (2026-04-19T21:21:11Z)
• ForeHOI: Feed-forward 3D Object Reconstruction from Daily Hand-Object Interaction Videos [22.436134664301473]
  本稿では,モノクラーハンドオブジェクトインタラクションビデオから直接3次元オブジェクト形状を再構成するフィードフォワードモデルであるForeHOIを紹介する。 ForeHOIは、オブジェクト再構成における最先端のパフォーマンスを実現し、100倍のスピードアップで従来の手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-02-05T22:05:57Z)
• Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians [7.051077403685518]
  人間は、1つの画像だけを与えられたシーンの将来のダイナミクスを予測するのに優れています。 この能力を模倣できるビデオ生成モデルは、インテリジェントシステムにとって不可欠なコンポーネントである。 最近のアプローチでは、単一画像条件のビデオ生成における時間的コヒーレンスと3次元の整合性が改善されている。
  論文  参考訳（メタデータ） (2026-01-02T13:04:47Z)
• Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video [56.781766315691854]
  ビデオ条件付き4D再生のための幾何学保存パイプラインである textbfRestage4D を紹介する。 DAVIS と PointOdyssey 上のRestage4D の有効性を検証し,幾何整合性,運動品質,3次元追跡性能の向上を実証した。
  論文  参考訳（メタデータ） (2025-08-08T21:31:51Z)
• Diffusion-based 3D Hand Motion Recovery with Intuitive Physics [29.784542628690794]
  画像に基づく再構成を向上する新しい3Dハンドモーションリカバリフレームワークを提案する。 本モデルでは,初期値に条件付された改良された動き推定値の分布を抽出し,改良されたシーケンスを生成する。 我々は、キー動作状態とその関連する動作制約を含む手動物体相互作用における貴重な直感的な物理知識を同定する。
  論文  参考訳（メタデータ） (2025-08-03T16:44:24Z)
• Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
  Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。 提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。 これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
  論文  参考訳（メタデータ） (2024-12-17T12:43:10Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• HMP: Hand Motion Priors for Pose and Shape Estimation from Video [52.39020275278984]
  我々は,多種多様な高品質の手の動きを特徴とするAMASSデータセットに基づいて,手動に特有な生成動作を開発する。 頑健な動きの統合は、特に隠蔽されたシナリオにおいて、パフォーマンスを著しく向上させる。 HO3DおよびDexYCBデータセットの質的および定量的評価により,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-12-27T22:35:33Z)
• Diffusion-Guided Reconstruction of Everyday Hand-Object Interaction Clips [38.02945794078731]
  短いビデオクリップから手動物体のインタラクションを再構築する作業に取り組む。 提案手法は,映像ごとの3D推論を最適化し,物体形状のニューラルな3D表現を復元する。 我々は、エゴセントリックビデオに対する我々のアプローチを実証的に評価し、以前のシングルビュー法やマルチビュー法よりも大幅に改善されていることを観察した。
  論文  参考訳（メタデータ） (2023-09-11T17:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。