論文の概要: Diffusion-based 3D Hand Motion Recovery with Intuitive Physics
- arxiv url: http://arxiv.org/abs/2508.01835v1
- Date: Sun, 03 Aug 2025 16:44:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.080066
- Title: Diffusion-based 3D Hand Motion Recovery with Intuitive Physics
- Title（参考訳）: 直観物理学を用いた拡散型3次元手の動き復元
- Authors: Yufei Zhang, Zijun Cui, Jeffrey O. Kephart, Qiang Ji,
- Abstract要約: 画像に基づく再構成を向上する新しい3Dハンドモーションリカバリフレームワークを提案する。
本モデルでは,初期値に条件付された改良された動き推定値の分布を抽出し,改良されたシーケンスを生成する。
我々は、キー動作状態とその関連する動作制約を含む手動物体相互作用における貴重な直感的な物理知識を同定する。
- 参考スコア（独自算出の注目度）: 29.784542628690794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While 3D hand reconstruction from monocular images has made significant progress, generating accurate and temporally coherent motion estimates from videos remains challenging, particularly during hand-object interactions. In this paper, we present a novel 3D hand motion recovery framework that enhances image-based reconstructions through a diffusion-based and physics-augmented motion refinement model. Our model captures the distribution of refined motion estimates conditioned on initial ones, generating improved sequences through an iterative denoising process. Instead of relying on scarce annotated video data, we train our model only using motion capture data without images. We identify valuable intuitive physics knowledge during hand-object interactions, including key motion states and their associated motion constraints. We effectively integrate these physical insights into our diffusion model to improve its performance. Extensive experiments demonstrate that our approach significantly improves various frame-wise reconstruction methods, achieving state-of-the-art (SOTA) performance on existing benchmarks.
- Abstract（参考訳）: 単眼画像からの3次元手指再建は大きな進歩を遂げているが、ビデオからの正確な時間的コヒーレントな動きの推定は、特に手動物体の相互作用において難しいままである。
本稿では,拡散型および物理拡張型モーションリファインメントモデルを用いて,画像に基づく再構成を向上する新しい3次元手動回復フレームワークを提案する。
本モデルでは,初期値に条件付けされた洗練された動き推定値の分布を抽出し,反復的復調処理により改良されたシーケンスを生成する。
注記の少ないビデオデータに頼る代わりに、画像のないモーションキャプチャデータのみを使用してモデルをトレーニングする。
我々は、キー動作状態とその関連する動作制約を含む手動物体相互作用における貴重な直感的な物理知識を同定する。
我々は、これらの物理的洞察を拡散モデルに効果的に統合し、その性能を向上する。
大規模な実験により,既存のベンチマーク上でのSOTA(State-of-the-art)性能を向上し,様々なフレームワイズ再構築手法を大幅に改善することが示された。
関連論文リスト
- SViMo: Synchronized Diffusion for Video and Motion Generation in Hand-object Interaction Scenarios [48.09735396455107]
ハンドオブジェクトインタラクション(HOI)生成には、大きな応用可能性がある。
現在の3D HOIモーション生成アプローチは、事前に定義された3Dオブジェクトモデルとラボでキャプチャされたモーションデータに大きく依存している。
本稿では,同期拡散プロセス内での視覚的事前制約と動的制約を組み合わせることで,HOIビデオと動きを同時に生成するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-03T05:04:29Z) - MAGIC: Motion-Aware Generative Inference via Confidence-Guided LLM [14.522189177415724]
MAGICは、シングルイメージの物理特性推論と動的生成のためのトレーニング不要のフレームワークである。
本フレームワークは,静止画像からモーションリッチな映像を生成し,信頼度に基づくフィードバックループを通じて視覚と身体のギャップを埋める。
実験の結果,MAGICは既存の物理認識生成手法よりも精度が高く,時間的コヒーレンスも高いことがわかった。
論文 参考訳（メタデータ） (2025-05-22T09:40:34Z) - REWIND: Real-Time Egocentric Whole-Body Motion Diffusion with Exemplar-Based Identity Conditioning [95.07708090428814]
本稿では,一段階拡散モデルREWINDを提案する。
身体中心運動と手の動きの相関を効果的にモデル化する。
また、ターゲットアイデンティティの小さなポーズ例に基づく新しいアイデンティティ条件付け手法を提案し、動き推定品質をさらに向上させる。
論文 参考訳（メタデータ） (2025-04-07T11:44:11Z) - CoMoGaussian: Continuous Motion-Aware Gaussian Splatting from Motion-Blurred Images [19.08403715388913]
3D Gaussian Splattingは高品質のノベルビューレンダリングのために注目されている。
重要な問題は、露出中の動きによるカメラの動きのぼかしであり、正確な3Dシーンの復元を妨げる。
動きブル画像から正確な3Dシーンを再構成する連続運動対応ガウス版CoMoGaussianを提案する。
論文 参考訳（メタデータ） (2025-03-07T11:18:43Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - EgoGaussian: Dynamic Scene Understanding from Egocentric Video with 3D Gaussian Splatting [95.44545809256473]
エゴガウスアン(EgoGaussian)は、3Dシーンを同時に再構築し、RGBエゴセントリックな入力のみから3Dオブジェクトの動きを動的に追跡する手法である。
動的オブジェクトと背景再構築の品質の両面で,最先端技術と比較して大きな改善が見られた。
論文 参考訳（メタデータ） (2024-06-28T10:39:36Z) - Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction [89.53963284958037]
動的シーン再構築のための新しい動き認識拡張フレームワークを提案する。
具体的には,まず3次元ガウス運動と画素レベルの流れの対応性を確立する。
より厳密な最適化問題を示す先行的な変形に基づくパラダイムに対して,過渡対応変形補助モジュールを提案する。
論文 参考訳（メタデータ） (2024-03-18T03:46:26Z) - Motion-DVAE: Unsupervised learning for fast human motion denoising [18.432026846779372]
本研究では,人間の動作の短期的依存を捉えるための動きであるMotion-DVAEを紹介する。
我々は、Motion-DVAEとともに、回帰と最適化に基づくアプローチを統一する教師なし学習型復調手法を導入する。
論文 参考訳（メタデータ） (2023-06-09T12:18:48Z) - HuMoR: 3D Human Motion Model for Robust Pose Estimation [100.55369985297797]
HuMoRは、時間的ポーズと形状のロバスト推定のための3Dヒューマンモーションモデルです。
モーションシーケンスの各ステップにおけるポーズの変化の分布を学習する条件付き変分オートエンコーダについて紹介する。
本モデルが大規模モーションキャプチャーデータセットのトレーニング後に多様な動きや体型に一般化することを示す。
論文 参考訳（メタデータ） (2021-05-10T21:04:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。