論文の概要: Generation of Complex 3D Human Motion by Temporal and Spatial Composition of Diffusion Models

• arxiv url: http://arxiv.org/abs/2409.11920v1
• Date: Wed, 18 Sep 2024 12:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 17:50:39.166281
• Title: Generation of Complex 3D Human Motion by Temporal and Spatial Composition of Diffusion Models
• Title（参考訳）: 拡散モデルの時間的・空間的構成による複雑な3次元人体運動の生成
• Authors: Lorenzo Mandelli, Stefano Berretti,
• Abstract要約: 私たちのアプローチでは、複雑なアクションをより単純な動き、特にトレーニング中に観察される動作に分解します。 これらの単純な動きは、拡散モデルの性質を用いて単一の現実的なアニメーションに結合される。 本研究では,2つの人間の動作データセットを基本的な動作と複雑な動作に分割して評価し,その性能を最先端の動作と比較する。
• 参考スコア（独自算出の注目度）: 9.739611757541535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we address the challenge of generating realistic 3D human motions for action classes that were never seen during the training phase. Our approach involves decomposing complex actions into simpler movements, specifically those observed during training, by leveraging the knowledge of human motion contained in GPTs models. These simpler movements are then combined into a single, realistic animation using the properties of diffusion models. Our claim is that this decomposition and subsequent recombination of simple movements can synthesize an animation that accurately represents the complex input action. This method operates during the inference phase and can be integrated with any pre-trained diffusion model, enabling the synthesis of motion classes not present in the training data. We evaluate our method by dividing two benchmark human motion datasets into basic and complex actions, and then compare its performance against the state-of-the-art.
• Abstract（参考訳）: 本稿では,訓練期間中に一度も見られなかったアクションクラスに対して,現実的な3次元人間の動作を生成するという課題に対処する。 我々のアプローチでは、GPTモデルに含まれる人間の動きの知識を活用することによって、複雑な動作をより単純な動き、特に訓練中に観察するものに分解する。 これらの単純な動きは、拡散モデルの性質を用いて単一の現実的なアニメーションに結合される。 我々の主張は、この分解とその後の単純な動きの組換えは、複雑な入力動作を正確に表現するアニメーションを合成できるというものである。 この方法は、推論フェーズ中に動作し、事前訓練された拡散モデルと統合することができ、トレーニングデータに存在しない運動クラスの合成を可能にする。 本研究では,2つの人間の動作データセットを基本的な動作と複雑な動作に分割して評価し,その性能を最先端の動作と比較する。

関連論文リスト

• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• Realistic Human Motion Generation with Cross-Diffusion Models [30.854425772128568]
  クロスヒューマンモーション拡散モデル(クロスディフ) 拡散モデルのトレーニングでは,共有変圧器ネットワークを用いて3次元情報と2次元情報を統合する。 CrossDiffは、両方の表現の強みを効果的に組み合わせて、より現実的なモーションシーケンスを生成する。
  論文  参考訳（メタデータ） (2023-12-18T07:44:40Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
  本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。 GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。 運動と地面への距離変化との整合性を明確に促進するように訓練されている。
  論文  参考訳（メタデータ） (2023-06-29T07:22:20Z)
• SINC: Spatial Composition of 3D Human Motions for Simultaneous Action Generation [58.25766404147109]
  我々のゴールは、同時動作を記述するテキスト入力を与えられた3次元人間の動作を合成することである。 我々は「空間構成」というような同時的な動きを生み出すことを指す。
  論文  参考訳（メタデータ） (2023-04-20T16:01:55Z)
• Human Motion Diffusion as a Generative Prior [20.004837564647367]
  拡散先行に基づく3種類の合成法を提案する。 長いシーケンス生成の課題に取り組みます。 並列合成を用いて、2人の世代に向けた有望なステップを示す。
  論文  参考訳（メタデータ） (2023-03-02T17:09:27Z)
• PaCMO: Partner Dependent Human Motion Generation in Dyadic Human Activity using Neural Operators [20.45590914720127]
  機能空間におけるパートナーの動きによって条件付けられた人間の動きの分布を学習するニューラル演算子に基づく生成モデルを提案する。 我々のモデルは任意の時間分解能で長いラベルのないアクションシーケンスを処理できる。 NTU RGB+DとDuetDanceのデータセット上でPaCMOを検証し,現実的な結果を得た。
  論文  参考訳（メタデータ） (2022-11-25T22:20:11Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• Skeleton2Humanoid: Animating Simulated Characters for Physically-plausible Motion In-betweening [59.88594294676711]
  現代の深層学習に基づく運動合成アプローチは、合成された運動の物理的妥当性をほとんど考慮していない。 テスト時に物理指向の動作補正を行うシステムSkeleton2Humanoid'を提案する。 挑戦的なLaFAN1データセットの実験は、物理的妥当性と精度の両方の観点から、我々のシステムが先行手法を著しく上回っていることを示している。
  論文  参考訳（メタデータ） (2022-10-09T16:15:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。