論文の概要: 4D-HOF: Hand-Object Flow Matching for Feed-Forward 4D Interaction Reconstruction
- arxiv url: http://arxiv.org/abs/2610.08782v1
- Date: Tue, 06 Oct 2026 17:59:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.164968
- Title: 4D-HOF: Hand-Object Flow Matching for Feed-Forward 4D Interaction Reconstruction
- Title（参考訳）: 4D-HOF:フィードフォワード4Dインタラクション再構成のためのハンドオブジェクトフローマッチング
- Abstract要約: 4D-HOF(フィードフォワード・フレームワーク)を導入し、粗いが情報的な推定から4Dハンドオブジェクトインタラクションを再構築する。
生成的定式化の重要な利点は、トランスポートプロセス内でテストタイムガイダンスが自然に可能であることである。
4D-HOFは最先端の性能を実現し、より安定で正確な4Dハンドオブジェクト再構成を実現している。
- 参考スコア（独自算出の注目度）: 10.788367067784812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing methods for 4D hand-object reconstruction often rely on costly per-sequence optimization, while generative approaches typically synthesize interactions from random noise, which can lead to unstable interaction prediction. We introduce 4D-HOF, a feed-forward framework that reconstructs 4D hand-object interactions from coarse but informative estimates produced by vision foundation models. Concretely, we learn a conditional flow matching model that transports foundation-model-derived hand-object states toward an interaction manifold, allowing the model to correct errors in translation, rotation, and alignment in a feed-forward manner. A key advantage of our generative formulation is that it naturally enables test-time guidance within the transport process. Rather than applying a separate post-hoc optimization after reconstruction, we directly steer the evolving generative states using physical interaction constraints and observed 2D evidence, allowing the reconstruction to be refined as part of the generative process itself. By training the generative model on diverse datasets, 4D-HOF generalizes robustly to challenging in-the-wild scenarios. Experiments on out-of-domain benchmarks show that 4D-HOF achieves state-of-the-art performance, producing more stable and accurate 4D hand-object reconstructions.
- Abstract（参考訳）: 既存の4次元手オブジェクト再構成法は、しばしばコストのかかるシーケンスごとの最適化に依存し、生成的アプローチは通常ランダムノイズから相互作用を合成し、不安定な相互作用予測をもたらす。
4D-HOFは,視覚基盤モデルによって生成された,粗いが情報的な推定値から4Dハンドオブジェクトインタラクションを再構築するフィードフォワードフレームワークである。
具体的には,基礎モデルに基づく手動状態から相互作用多様体へ伝達する条件付きフローマッチングモデルについて学習し,翻訳,回転,アライメントの誤りをフィードフォワード方式で補正する。
生成的定式化の重要な利点は、トランスポートプロセス内でテストタイムガイダンスが自然に可能であることである。
再建後の別個のポストホック最適化を適用するのではなく、物理的相互作用制約を用いて進化する生成状態を直接操縦し、2次元のエビデンスを観察することにより、再生プロセス自体の一部として再構成を洗練できる。
多様なデータセットで生成モデルをトレーニングすることにより、4D-HOFは、現場で挑戦するシナリオに対して堅牢に一般化する。
ドメイン外のベンチマーク実験では、4D-HOFは最先端のパフォーマンスを実現し、より安定で正確な4Dハンドオブジェクト再構成を実現している。
関連論文リスト
- HAT-4D: Lifting Monocular Video for 4D Multi-Object Interactions via Human-Agent Collaboration [38.16996826492207]
HAT-4Dは、単一のビデオから複数の物体の3次元幾何学、時間力学、物理的相互作用を再構成する。
スケーラブルなデータエンジンとして、HAT-4Dはモノクロ4Dインタラクション再構築のためのオープンワールドベンチマークであるMVOIK-4Dの作成を容易にする。
論文 参考訳（メタデータ） (2026-06-26T16:05:58Z) - Lift4D: Harmonizing Single-View 3D Estimation for 4D Reconstruction In-the-Wild [87.49244020695505]
モノクロビデオから動的非剛体オブジェクトを再構成するには、幾何学と外観に関するデータ駆動の先行と直接観察から視覚的手がかりを統合する必要がある。
以前のアプローチでは、視覚的な入力から直接4D表現を予測するか、ビデオエビデンスに基づいて変形して洗練される3D表現を初期化する。
We present Lift4D, a test-time optimization framework that handle both limits。
論文 参考訳（メタデータ） (2026-06-22T17:59:54Z) - High-Fidelity 4D Hand-Object Capture via Multi-View Spatiotemporal Tracking and Physics-Aware Gaussians [38.0162622592412]
同期・校正されたマルチビュービデオから手や物体を頑健かつ正確に再構成するための新しいシステムを提案する。
我々のパイプラインは、高度に堅牢でアーティファクトのない再構築を実現し、自動化された4Dアセット生成のための効率的な基盤を提供する。
論文 参考訳（メタデータ） (2026-06-14T16:36:49Z) - ArtHOI: Taming Foundation Models for Monocular 4D Reconstruction of Hand-Articulated-Object Interactions [48.84720445548848]
ArtHOIは最適化ベースのフレームワークで、複数の基礎モデルから事前を統合および洗練する。
特に、オブジェクトのメートル法スケールを最適化するために、適応サンプリング精細法(ASR)を導入する。
また,Multimodal Large Language Model (MLLM) を用いた手オブジェクトアライメント手法を提案する。
論文 参考訳（メタデータ） (2026-03-26T18:00:17Z) - GeoMotion: Rethinking Motion Segmentation via Latent 4D Geometry [61.24189040578178]
そこで本研究では,注目機構を介し,潜在特徴表現から移動対象を直接推論する完全学習型アプローチを提案する。
我々の重要な洞察は、明示的な対応推定を回避し、代わりに、モデルが暗黙的にオブジェクトとカメラの動きを歪めることを学ぶことである。
提案手法は,最先端の動作セグメンテーション性能を高い効率で達成する。
論文 参考訳（メタデータ） (2026-02-25T11:36:33Z) - MVISTA-4D: View-Consistent 4D World Model with Test-Time Action Inference for Robotic Manipulation [27.70398018267795]
本研究は,幾何学的に一貫した任意のRGBD生成が可能な,新しい4次元世界モデルを提案する。
3つのデータセットの実験は、4Dシーン生成と下流操作の両方で強いパフォーマンスを示す。
論文 参考訳（メタデータ） (2026-02-10T15:19:17Z) - Follow My Hold: Hand-Object Interaction Reconstruction through Geometric Guidance [61.41904916189093]
単眼RGB画像から手持ち物体の3次元形状を再構成する拡散法に基づく新しいフレームワークを提案する。
我々は手オブジェクト間相互作用を幾何学的ガイダンスとして使用し、手オブジェクト間相互作用を確実にする。
論文 参考訳（メタデータ） (2025-08-25T17:11:53Z) - Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。
我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。
結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
論文 参考訳（メタデータ） (2025-03-26T17:59:44Z) - Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。
グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。
時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
論文 参考訳（メタデータ） (2024-01-12T15:05:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。