論文の概要: HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching
- arxiv url: http://arxiv.org/abs/2604.10836v1
- Date: Sun, 12 Apr 2026 22:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.240539
- Title: HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching
- Title（参考訳）: HO-Flow: ラテントフローマッチングを用いた汎用ハンドオブジェクトインタラクション生成
- Abstract要約: HO-Flowはテキストと正準3Dオブジェクトから現実的な手動動作シーケンスを合成するためのフレームワークである。
まず、手動と物体の動きのシーケンスを統一された潜在多様体に符号化するために、相互作用を意識した変分オートエンコーダを用いる。
次に、自己回帰的時間的推論と連続的な潜伏生成を組み合わせたマスク付きフローマッチングモデルを利用する。
- 参考スコア（独自算出の注目度）: 113.81911881001905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating realistic 3D hand-object interactions (HOI) is a fundamental challenge in computer vision and robotics, requiring both temporal coherence and high-fidelity physical plausibility. Existing methods remain limited in their ability to learn expressive motion representations for generation and perform temporal reasoning. In this paper, we present HO-Flow, a framework for synthesizing realistic hand-object motion sequences from texts and canoncial 3D objects. HO-Flow first employs an interaction-aware variational autoencoder to encode sequences of hand and object motions into a unified latent manifold by incorporating hand and object kinematics, enabling the representation to capture rich interaction dynamics. It then leverages a masked flow matching model that combines auto-regressive temporal reasoning with continuous latent generation, improving temporal coherence. To further enhance generalization, HO-Flow predicts object motions relative to the initial frame, enabling effective pre-training on large-scale synthetic data. Experiments on the GRAB, OakInk, and DexYCB benchmarks demonstrate that HO-Flow achieves state-of-the-art performance in both physical plausibility and motion diversity for interaction motion synthesis.
- Abstract（参考訳）: リアルな3Dハンドオブジェクトインタラクション(HOI)を生成することは、コンピュータビジョンとロボット工学の基本的な課題であり、時間的コヒーレンスと高忠実な物理的妥当性の両方を必要とする。
既存の手法は、生成のための表現力のある動作表現を学習し、時間的推論を行う能力に限られている。
本稿では,テキストと正準3次元オブジェクトから現実的な手オブジェクトの動きシーケンスを合成するフレームワークHO-Flowを提案する。
HO-Flowはまず、手動と物体運動のシーケンスを手動と物体運動学を組み込むことで統一潜在多様体にエンコードし、リッチな相互作用のダイナミクスを表現できるようにする。
次に、自己回帰的時間的推論と連続的な潜伏生成を組み合わせ、時間的コヒーレンスを改善するマスク付きフローマッチングモデルを活用する。
HO-Flowは、一般化をさらに促進するため、初期フレームに対する物体の動きを予測し、大規模な合成データに対して効果的な事前学習を可能にする。
GRAB、OakInk、DexYCBベンチマークの実験により、HO-Flowは相互作用運動合成のための物理的可視性と運動の多様性の両方において最先端のパフォーマンスを達成することを示した。
関連論文リスト
- Residual Flow Matching with Dynamic Cross-Interaction for 3D Multi-Person Motion Prediction [10.207329247559242]
3次元多対人動作予測は、個々の運動学と対人相互作用の両方をモデル化する必要がある。
フローマッチングは、予測精度を向上させるために多仮説生成に有効である。
本稿では,事前ガイド型残留流れマッチングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-04T09:28:27Z) - FlowHOI: Flow-based Semantics-Grounded Generation of Hand-Object Interactions for Dexterous Robot Manipulation [23.19464039872024]
FlowHOIは、時間的にコヒーレントなHOIシーケンスを生成するフローマッチングフレームワークである。
本研究では,FlowHOIが最も高い動作認識精度と1.7$times$高い物理シミュレーション成功率を達成することを示す。
論文 参考訳（メタデータ） (2026-02-13T20:46:08Z) - SpriteHand: Real-Time Versatile Hand-Object Interaction with Autoregressive Video Generation [64.3409486422946]
本研究では,手動インタラクションビデオのリアルタイム合成のための自動回帰ビデオ生成フレームワークSpriteHandを提案する。
我々のモデルは自己回帰生成のための因果推論アーキテクチャを採用し、視覚リアリズムと時間的コヒーレンスを高めるために学習後のハイブリッドアプローチを活用している。
実験は、生成的ベースラインとエンジンベースラインの両方と比較して、視覚的品質、物理的妥当性、相互作用の忠実さが優れていることを示した。
論文 参考訳（メタデータ） (2025-12-01T18:13:40Z) - SViMo: Synchronized Diffusion for Video and Motion Generation in Hand-object Interaction Scenarios [48.09735396455107]
ハンドオブジェクトインタラクション(HOI)生成には、大きな応用可能性がある。
現在の3D HOIモーション生成アプローチは、事前に定義された3Dオブジェクトモデルとラボでキャプチャされたモーションデータに大きく依存している。
本稿では,同期拡散プロセス内での視覚的事前制約と動的制約を組み合わせることで,HOIビデオと動きを同時に生成するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-03T05:04:29Z) - Auto-Regressive Diffusion for Generating 3D Human-Object Interactions [5.587507490937267]
HOI生成の鍵となる課題は、長いシーケンスでの相互作用の一貫性を維持することである。
本稿では,次の連続トークンを予測する自己回帰拡散モデル(ARDHOI)を提案する。
このモデルはOMOMOとBEHAVEのデータセットで評価されている。
論文 参考訳（メタデータ） (2025-03-21T02:25:59Z) - InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。
我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
論文 参考訳（メタデータ） (2024-12-16T13:57:02Z) - OOD-HOI: Text-Driven 3D Whole-Body Human-Object Interactions Generation Beyond Training Domains [66.62502882481373]
現在の方法では、身体と手の両方に焦点を合わせ、結束的で現実的な相互作用を生み出す能力を制限する傾向にある。
我々は,OOD-HOIというテキスト駆動型フレームワークを提案する。
提案手法は,初期相互作用ポーズを合成するための二重分岐相互拡散モデルと,予測された接触領域に基づく物理的精度向上のための接触誘導相互作用精製器と,ロバスト性向上のための意味的調整と変形を含む動的適応機構を統合した。
論文 参考訳（メタデータ） (2024-11-27T10:13:35Z) - GRIP: Generating Interaction Poses Using Spatial Cues and Latent Consistency [57.9920824261925]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。
現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。
GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文 参考訳（メタデータ） (2023-08-22T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。