論文の概要: SyncDiff: Synchronized Motion Diffusion for Multi-Body Human-Object Interaction Synthesis

• arxiv url: http://arxiv.org/abs/2412.20104v2
• Date: Mon, 13 Jan 2025 11:46:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-14 14:29:30.288182
• Title: SyncDiff: Synchronized Motion Diffusion for Multi-Body Human-Object Interaction Synthesis
• Title（参考訳）: SyncDiff: 多体人間-物体相互作用合成のための同期運動拡散
• Authors: Wenkun He, Yun Liu, Ruitao Liu, Li Yi,
• Abstract要約: シンクロナイズドモーション拡散戦略を用いた多体インタラクション合成法SyncDiffを紹介する。 動きの忠実度を高めるため,周波数領域の動作分解手法を提案する。 また、異なる身体運動の同期を強調するための新しいアライメントスコアも導入する。
• 参考スコア（独自算出の注目度）: 22.14972920585117
• License:
• Abstract: Synthesizing realistic human-object interaction motions is a critical problem in VR/AR and human animation. Unlike the commonly studied scenarios involving a single human or hand interacting with one object, we address a more generic multi-body setting with arbitrary numbers of humans, hands, and objects. This complexity introduces significant challenges in synchronizing motions due to the high correlations and mutual influences among bodies. To address these challenges, we introduce SyncDiff, a novel method for multi-body interaction synthesis using a synchronized motion diffusion strategy. SyncDiff employs a single diffusion model to capture the joint distribution of multi-body motions. To enhance motion fidelity, we propose a frequency-domain motion decomposition scheme. Additionally, we introduce a new set of alignment scores to emphasize the synchronization of different body motions. SyncDiff jointly optimizes both data sample likelihood and alignment likelihood through an explicit synchronization strategy. Extensive experiments across four datasets with various multi-body configurations demonstrate the superiority of SyncDiff over existing state-of-the-art motion synthesis methods.
• Abstract（参考訳）: リアルな人間と物体の相互作用運動を合成することは、VR/ARと人間のアニメーションにおいて重要な問題である。 1人の人間や人が1つの物体と相互作用する、よく研究されるシナリオとは異なり、私たちは、任意の数の人間、手、オブジェクトで、より一般的な多体設定に対処する。 この複雑さは、物体間の高い相関関係と相互影響による動きの同期において重大な課題をもたらす。 これらの課題に対処するため,シンクロナイズドモーション拡散戦略を用いた多体インタラクション合成法SyncDiffを導入する。 SyncDiffは、多体運動の関節分布を捉えるために単一の拡散モデルを用いる。 動きの忠実度を高めるため,周波数領域の動作分解手法を提案する。 さらに、異なる身体運動の同期を強調するために、新しいアライメントスコアを導入する。 SyncDiffは、明示的な同期戦略を通じて、データサンプルの可能性とアライメント可能性の両方を共同で最適化する。 様々な多体構成を持つ4つのデータセットにわたる大規模な実験は、既存の最先端モーション合成法よりもSyncDiffの方が優れていることを示す。

関連論文リスト

• Multi-Resolution Generative Modeling of Human Motion from Limited Data [3.5229503563299915]
  限られたトレーニングシーケンスから人間の動きを合成することを学ぶ生成モデルを提案する。 このモデルは、骨格の畳み込み層とマルチスケールアーキテクチャを統合することで、人間の動きパターンを順応的にキャプチャする。
  論文  参考訳（メタデータ） (2024-11-25T15:36:29Z)
• FreeMotion: A Unified Framework for Number-free Text-to-Motion Synthesis [65.85686550683806]
  そこで本稿では, 条件付き動作分布を用いて, 単独動作と多人数動作を統一する動き生成手法を提案する。 筆者らの枠組みに基づいて,現在ある一対一動作空間制御手法をシームレスに統合し,多対一動作の正確な制御を実現する。
  論文  参考訳（メタデータ） (2024-05-24T17:57:57Z)
• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
  動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。 我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。 本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
  論文  参考訳（メタデータ） (2023-04-12T08:12:29Z)
• Controllable Motion Synthesis and Reconstruction with Autoregressive Diffusion Models [18.50942770933098]
  MoDiff(モディフ)は、他のモードの制御コンテキストに条件付けられた動き列上の自己回帰的確率拡散モデルである。 本モデルでは、モーダルトランスフォーマーエンコーダとトランスフォーマーベースのデコーダを統合し、動作の時間的相関と制御のモダリティを捉えるのに有効である。
  論文  参考訳（メタデータ） (2023-04-03T08:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。