論文の概要: M2D2M: Multi-Motion Generation from Text with Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.14502v1
• Date: Fri, 19 Jul 2024 17:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 16:35:50.878954
• Title: M2D2M: Multi-Motion Generation from Text with Discrete Diffusion Models
• Title（参考訳）: M2D2M:離散拡散モデルを用いたテキストからのマルチモーション生成
• Authors: Seunggeun Chi, Hyung-gun Chi, Hengbo Ma, Nakul Agarwal, Faizan Siddiqui, Karthik Ramani, Kwonjoon Lee,
• Abstract要約: テキスト記述から人間の動きを生成するための新しいアプローチであるM2D2M(Multi-Motion Discrete Diffusion Models)を紹介する。 M2D2Mは、マルチモーションシーケンスを生成するという課題に順応的に対処し、一連のアクション間の動きとコヒーレンスをシームレスに遷移させる。
• 参考スコア（独自算出の注目度）: 18.125860678409804
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce the Multi-Motion Discrete Diffusion Models (M2D2M), a novel approach for human motion generation from textual descriptions of multiple actions, utilizing the strengths of discrete diffusion models. This approach adeptly addresses the challenge of generating multi-motion sequences, ensuring seamless transitions of motions and coherence across a series of actions. The strength of M2D2M lies in its dynamic transition probability within the discrete diffusion model, which adapts transition probabilities based on the proximity between motion tokens, encouraging mixing between different modes. Complemented by a two-phase sampling strategy that includes independent and joint denoising steps, M2D2M effectively generates long-term, smooth, and contextually coherent human motion sequences, utilizing a model trained for single-motion generation. Extensive experiments demonstrate that M2D2M surpasses current state-of-the-art benchmarks for motion generation from text descriptions, showcasing its efficacy in interpreting language semantics and generating dynamic, realistic motions.
• Abstract（参考訳）: 離散拡散モデル(M2D2M)の長所を生かして,複数の動作のテキスト記述から人体の動きを生成する新しい手法を提案する。 このアプローチは、多動列を生成するという課題に十分に対処し、一連のアクションをまたいだ動きとコヒーレンスをシームレスに遷移させることを保証する。 M2D2Mの強度は離散拡散モデル内の動的遷移確率に関係しており、運動トークン間の近接に基づく遷移確率に適応し、異なるモード間の混合を促進する。 M2D2Mは, 単運動生成のためのモデルを用いて, 長期的, スムーズで, 文脈的に整合した人間の動作系列を効果的に生成する。 大規模な実験により、M2D2Mはテキスト記述からの動作生成の最先端ベンチマークを超え、言語意味論を解釈し、動的で現実的な動きを生成する効果を示す。

関連論文リスト

• MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
  MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。 難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
  論文  参考訳（メタデータ） (2024-10-29T05:25:34Z)
• MDMP: Multi-modal Diffusion for supervised Motion Predictions with uncertainty [7.402769693163035]
  本稿では,運動予測のための多モード拡散モデルを提案する。 骨格データと行動のテキスト記述を統合し、定量性のある不確実性を伴う洗練された長期動作予測を生成する。 我々のモデルは、長期動作を正確に予測する上で、既存の生成技術よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-04T18:49:00Z)
• Text-driven Human Motion Generation with Motion Masked Diffusion Model [23.637853270123045]
  テキスト・ヒューマン・モーション・ジェネレーション(テキスト・ヒューマン・モーション・ジェネレーション)は、自然言語で条件付けられた人間の動作シーケンスを合成するタスクである。 現在の拡散モデルに基づくアプローチは、生成の多様性と多モード性において優れた性能を持つ。 拡散モデルのための新しい動き機構である運動マスク付き拡散モデルbftext(MMDM)を提案する。
  論文  参考訳（メタデータ） (2024-09-29T12:26:24Z)
• MotionCraft: Crafting Whole-Body Motion with Plug-and-Play Multimodal Controls [30.487510829107908]
  プラグ・アンド・プレイ・マルチモーダル制御による全身動作を実現する統合拡散変換器であるMotionCraftを提案する。 我々のフレームワークは、テキスト・ツー・モーション・セマンティック・トレーニングの第1段階から始まる粗大な訓練戦略を採用している。 本稿では,SMPL-Xフォーマットを統一したマルチモーダル全体モーション生成ベンチマークMC-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-07-30T18:57:06Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• Synthesizing Long-Term Human Motions with Diffusion Models via Coherent Sampling [74.62570964142063]
  テキスト・トゥ・モーション・ジェネレーションは注目されているが、既存の手法のほとんどは短期的な動きに限られている。 本稿では,2つのコヒーレントサンプリング手法を用いた過去の拡散モデルを用いた新しい手法を提案する。 提案手法は,ユーザの指示した長文ストリームによって制御された,構成的かつコヒーレントな3次元人間の動作を生成することができる。
  論文  参考訳（メタデータ） (2023-08-03T16:18:32Z)
• Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion Probabilistic Models [58.357180353368896]
  本稿では,現実的で多様な3D骨格に基づく運動生成問題に対処するために,拡散確率モデル(DDPM)の利点を生かした条件付きパラダイムを提案する。 我々はDDPMを用いてカテゴリ的動作で条件付けられた動作列の可変数を合成する先駆的な試みである。
  論文  参考訳（メタデータ） (2023-01-10T13:15:42Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。