論文の概要: Dex2HOI: Dexterous Bimanual Two-Object Interaction Generation
- arxiv url: http://arxiv.org/abs/2605.30444v1
- Date: Thu, 28 May 2026 18:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.163035
- Title: Dex2HOI: Dexterous Bimanual Two-Object Interaction Generation
- Title(参考訳): Dex2HOI:Dexterous Bimanual Two-Object Interaction Generation
- Authors: Chrysa Pratikaki, Pablo Ruiz-Ponce, Jiankang Deng, Stefanos Zafeiriou, Rolandos Alexandros Potamias,
- Abstract要約: テキストからの単目的と二目的のHOI合成のための統一拡散モデルであるDex2HOIを提案する。
最終動作を合成するために,新しい手関係オブジェクト表現と統合されたモーションフュージョンネットワークを導入する。
- 参考スコア(独自算出の注目度): 72.50095039264953
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in 4D Human-Object Interaction (HOI) generation have enabled increasingly realistic motion synthesis, particularly for single-object manipulation. Yet current research overlooks an inherent property of human behavior: people naturally coordinate both hands and manipulate multiple objects simultaneously. To address this gap, we present Dex2HOI, a unified diffusion model for single- and two-object HOI synthesis from text. At its core, Dex2HOI employs a Dual-Stream Diffusion approach, where each object is processed in a dedicated interaction stream and coordinated through bidirectional cross-attention. To synthesize the final motion, we introduce a Motion Fusion Network integrated with novel hand-relative object representations and contact-aware conditioning applied across the whole sequence. By sampling the diffusion process autoregressively over prefix-conditioned windows, Dex2HOI generates arbitrarily long sequences at real-time speed omitting redundant test-time optimization, achieving up to x540 inference speed-up over prior state-of-the-art methods. Extensive evaluation on both single- and two-object benchmarks demonstrates state-of-the-art quantitative results, marking a step beyond conventional single-object HOI generation and toward expressive multi-object manipulation. Code and models will be released upon acceptance.
- Abstract(参考訳): 近年の4Dヒューマン・オブジェクト・インタラクション(HOI)生成は、特に単一対象の操作において、より現実的な動き合成を可能にしている。
人は自然に両手を調整し、複数の物体を同時に操作する。
このギャップに対処するため,テキストからの単目的と二目的のHOI合成のための統一拡散モデルであるDex2HOIを提案する。
中心となるDex2HOIでは、Dual-Stream Diffusionアプローチを採用しており、各オブジェクトは専用のインタラクションストリームで処理され、双方向のクロスアテンションを通じてコーディネートされる。
最終動作を合成するために、新しい手関係オブジェクト表現と、全シーケンスにわたって適用された接触認識条件を統合したモーションフュージョンネットワークを導入する。
Dex2HOIは、プレフィックス条件付きウィンドウ上で自己回帰的に拡散過程をサンプリングすることにより、冗長なテスト時間最適化を省略するリアルタイムの長いシーケンスを任意に生成し、従来の最先端手法よりも最大でx540推論速度アップを達成する。
単目的と二目的のベンチマークの広範囲な評価は、従来の単目的のHOI生成を超越し、表現力のある多目的操作へ向けた、最先端の定量的結果を示している。
コードとモデルは受け入れ次第リリースされる。
関連論文リスト
- HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching [113.81911881001905]
HO-Flowはテキストと正準3Dオブジェクトから現実的な手動動作シーケンスを合成するためのフレームワークである。
まず、手動と物体の動きのシーケンスを統一された潜在多様体に符号化するために、相互作用を意識した変分オートエンコーダを用いる。
次に、自己回帰的時間的推論と連続的な潜伏生成を組み合わせたマスク付きフローマッチングモデルを利用する。
論文 参考訳(メタデータ) (2026-04-12T22:06:11Z) - UniHand: A Unified Model for Diverse Controlled 4D Hand Motion Modeling [45.29560152294065]
UniHandは、条件付きモーション合成として推定と生成の両方を定式化する統合拡散ベースのフレームワークである。
視覚観察は凍結したバックボーンで符号化され、専用のハンドパーセプトロンは画像特徴から直接手固有のキューを抽出する。
潜在拡散モデルは、様々な条件から一貫した動き列を合成する。
論文 参考訳(メタデータ) (2026-02-25T06:53:15Z) - AsynFusion: Towards Asynchronous Latent Consistency Models for Decoupled Whole-Body Audio-Driven Avatars [71.90109867684025]
全体オーディオ駆動型アバターポーズと表現生成は、生命に似たデジタル人間を作るための重要なタスクである。
本稿では,拡散変換器を応用し,結合表現とジェスチャ合成を実現する新しいフレームワークAsynFusionを提案する。
AsynFusionは、リアルタイムで同期された全身アニメーションを生成する際に最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-05-21T03:28:53Z) - Efficient Explicit Joint-level Interaction Modeling with Mamba for Text-guided HOI Generation [25.770855154106453]
本稿では,テキスト誘導型人-物体相互作用を生成するための効率的な共同対話モデル(EJIM)を提案する。
EJIMはDual-branch HOI Mambaを特徴としている。
EJIM は推定時間の 5% しか使用せず, 従来の作業よりも大きなマージンで上回っていることを示す。
論文 参考訳(メタデータ) (2025-03-29T15:23:21Z) - HIMO: A New Benchmark for Full-Body Human Interacting with Multiple Objects [86.86284624825356]
HIMOは、複数のオブジェクトと相互作用するフルボディの人間のデータセットである。
HIMOは3.3K 4D HOIシーケンスと4.08M 3D HOIフレームを含む。
論文 参考訳(メタデータ) (2024-07-17T07:47:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。