論文の概要: HandDiffuse: Generative Controllers for Two-Hand Interactions via
Diffusion Models
- arxiv url: http://arxiv.org/abs/2312.04867v1
- Date: Fri, 8 Dec 2023 07:07:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 16:00:38.131949
- Title: HandDiffuse: Generative Controllers for Two-Hand Interactions via
Diffusion Models
- Title(参考訳): handdiffuse:拡散モデルによる双方向インタラクション生成制御
- Authors: Pei Lin, Sihang Xu, Hongdi Yang, Yiran Liu, Xin Chen, Jingya Wang,
Jingyi Yu, Lan Xu
- Abstract要約: 既存の手データセットは概ね短距離であり、手の自己閉塞と自己相似性のために相互作用は弱い。
データの不足を解消するために,強い双方向相互作用を持つ時間列からなる新しいデータセットであるHandDiffuse12.5Mを提案する。
- 参考スコア(独自算出の注目度): 48.56319454887096
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing hands datasets are largely short-range and the interaction is weak
due to the self-occlusion and self-similarity of hands, which can not yet fit
the need for interacting hands motion generation. To rescue the data scarcity,
we propose HandDiffuse12.5M, a novel dataset that consists of temporal
sequences with strong two-hand interactions. HandDiffuse12.5M has the largest
scale and richest interactions among the existing two-hand datasets. We further
present a strong baseline method HandDiffuse for the controllable motion
generation of interacting hands using various controllers. Specifically, we
apply the diffusion model as the backbone and design two motion representations
for different controllers. To reduce artifacts, we also propose Interaction
Loss which explicitly quantifies the dynamic interaction process. Our
HandDiffuse enables various applications with vivid two-hand interactions,
i.e., motion in-betweening and trajectory control. Experiments show that our
method outperforms the state-of-the-art techniques in motion generation and can
also contribute to data augmentation for other datasets. Our dataset,
corresponding codes, and pre-trained models will be disseminated to the
community for future research towards two-hand interaction modeling.
- Abstract(参考訳): 既存のハンドデータセットは、主に短距離であり、手の動き生成の必要性に相応しい、自己閉塞と自己相似性のために相互作用が弱い。
データの不足を解消するために,強い双方向相互作用を持つ時間列からなる新しいデータセットであるHandDiffuse12.5Mを提案する。
HandDiffuse12.5Mは、既存の2手データセットの中で最大のスケールとリッチなインタラクションを持つ。
さらに,各種コントローラを用いた対話型手の制御可能な動作生成のための強力なベースライン手法HandDiffuseを提案する。
具体的には、拡散モデルをバックボーンとして適用し、異なるコントローラに対する2つのモーション表現を設計する。
人工物を減らすため,動的相互作用過程を明示的に定量化するインタラクション損失も提案する。
当社のハンドディフュースでは,双方向インタラクションの活発なアプリケーション,すなわちモーションインタッピングと軌道制御が実現されている。
実験により,本手法は動作生成における最先端技術よりも優れており,他のデータセットのデータ拡張にも寄与することが示された。
当社のデータセット、対応するコード、トレーニング済みのモデルは、双方向インタラクションモデリングに向けた今後の研究のためにコミュニティに広められます。
関連論文リスト
- DiffH2O: Diffusion-Based Synthesis of Hand-Object Interactions from Textual Descriptions [15.417836855005087]
DiffH2Oは,現実的,一方的あるいは一方的な物体相互作用を合成する新しい手法である。
タスクを把握段階とテキストベースのインタラクション段階に分解する。
把握段階では、モデルが手の動きのみを生成するのに対し、手と物の両方のポーズが合成される。
論文 参考訳(メタデータ) (2024-03-26T16:06:42Z) - Gaze-guided Hand-Object Interaction Synthesis: Benchmark and Method [63.49140028965778]
本稿では,第1回 Gaze-Guided Hand-Object Interaction データセットである GazeHOI を紹介し,視線誘導ハンドオブジェクトインタラクションを合成するための新しいタスクを提案する。
我々のデータセットであるGazeHOIは、平均時間19.1秒、サブシーケンス812、さまざまなサイズの33のオブジェクトを含む479のシーケンスからなる、視線、手、オブジェクトの相互作用を同時に3Dモデリングする。
論文 参考訳(メタデータ) (2024-03-24T14:24:13Z) - Learning Mutual Excitation for Hand-to-Hand and Human-to-Human
Interaction Recognition [22.538114033191313]
相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。
Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。
提案するme-GCは,最先端GCN法およびTransformer法より優れている。
論文 参考訳(メタデータ) (2024-02-04T10:00:00Z) - BOTH2Hands: Inferring 3D Hands from Both Text Prompts and Body Dynamics [50.88842027976421]
両手動作生成のための新しいマルチモーダルデータセットBOTH57Mを提案する。
私たちのデータセットには、人体と手の動きの正確な追跡が含まれています。
また,新しいタスクのための強力なベースライン手法であるBOTH2Handsも提供する。
論文 参考訳(メタデータ) (2023-12-13T07:30:19Z) - InterControl: Generate Human Motion Interactions by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳(メタデータ) (2023-11-27T14:32:33Z) - GRIP: Generating Interaction Poses Using Latent Consistency and Spatial
Cues [60.90013719118856]
手は器用で多用途なマニピュレータであり、人間が物体や環境とどのように相互作用するかの中心である。
現実的な手オブジェクトの相互作用をモデル化することは、コンピュータグラフィックス、コンピュータビジョン、混合現実の応用において重要である。
GRIPは、体と物体の3次元運動を入力として取り、物体の相互作用の前、中、後の両方の両手の現実的な動きを合成する学習ベースの手法である。
論文 参考訳(メタデータ) (2023-08-22T17:59:51Z) - InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文 参考訳(メタデータ) (2023-04-12T08:12:29Z) - Controllable Motion Synthesis and Reconstruction with Autoregressive
Diffusion Models [18.50942770933098]
MoDiff(モディフ)は、他のモードの制御コンテキストに条件付けられた動き列上の自己回帰的確率拡散モデルである。
本モデルでは、モーダルトランスフォーマーエンコーダとトランスフォーマーベースのデコーダを統合し、動作の時間的相関と制御のモダリティを捉えるのに有効である。
論文 参考訳(メタデータ) (2023-04-03T08:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。