論文の概要: Text-driven Human Motion Generation with Motion Masked Diffusion Model

• arxiv url: http://arxiv.org/abs/2409.19686v1
• Date: Sun, 29 Sep 2024 12:26:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:04:10.769023
• Title: Text-driven Human Motion Generation with Motion Masked Diffusion Model
• Title（参考訳）: 運動マスク付き拡散モデルを用いたテキスト駆動型人体運動生成
• Authors: Xingyu Chen,
• Abstract要約: テキスト・ヒューマン・モーション・ジェネレーション(テキスト・ヒューマン・モーション・ジェネレーション)は、自然言語で条件付けられた人間の動作シーケンスを合成するタスクである。 現在の拡散モデルに基づくアプローチは、生成の多様性と多モード性において優れた性能を持つ。 拡散モデルのための新しい動き機構である運動マスク付き拡散モデルbftext(MMDM)を提案する。
• 参考スコア（独自算出の注目度）: 23.637853270123045
• License:
• Abstract: Text-driven human motion generation is a multimodal task that synthesizes human motion sequences conditioned on natural language. It requires the model to satisfy textual descriptions under varying conditional inputs, while generating plausible and realistic human actions with high diversity. Existing diffusion model-based approaches have outstanding performance in the diversity and multimodality of generation. However, compared to autoregressive methods that train motion encoders before inference, diffusion methods lack in fitting the distribution of human motion features which leads to an unsatisfactory FID score. One insight is that the diffusion model lack the ability to learn the motion relations among spatio-temporal semantics through contextual reasoning. To solve this issue, in this paper, we proposed Motion Masked Diffusion Model \textbf{(MMDM)}, a novel human motion masked mechanism for diffusion model to explicitly enhance its ability to learn the spatio-temporal relationships from contextual joints among motion sequences. Besides, considering the complexity of human motion data with dynamic temporal characteristics and spatial structure, we designed two mask modeling strategies: \textbf{time frames mask} and \textbf{body parts mask}. During training, MMDM masks certain tokens in the motion embedding space. Then, the diffusion decoder is designed to learn the whole motion sequence from masked embedding in each sampling step, this allows the model to recover a complete sequence from incomplete representations. Experiments on HumanML3D and KIT-ML dataset demonstrate that our mask strategy is effective by balancing motion quality and text-motion consistency.
• Abstract（参考訳）: テキスト駆動型ヒューマンモーション生成は、自然言語で条件付けられた人間のモーションシーケンスを合成するマルチモーダルタスクである。 多様な条件入力の下でテキスト記述を満足すると同時に、多様で現実的な人間の行動を生成する必要がある。 既存の拡散モデルに基づくアプローチは、生成の多様性と多モード性において優れた性能を持つ。 しかし, 自己回帰法と比較して, 拡散法は不満足なFIDスコアにつながる人間の動作特徴の分布に適合しない。 1つの洞察は、拡散モデルは文脈的推論を通して時空間意味論の運動関係を学習する能力が欠けていることである。 そこで本研究では,移動列間の文脈的関節から時空間的関係を学習する能力を明確に向上させる,新しい人体運動マスク機構である運動マスク拡散モデル(MMDM)を提案する。 また、動的時間特性と空間構造を持つ人間の動作データの複雑さを考慮し、2つのマスクモデリング戦略を設計した: \textbf{time frames mask} と \textbf{body parts mask}。 トレーニング中、MMDMはモーション埋め込み空間内の特定のトークンをマスクする。 そして、拡散復号器は、各サンプリングステップのマスク埋め込みから全動作シーケンスを学習するように設計され、不完全表現から完全シーケンスを復元することができる。 HumanML3DとKIT-MLデータセットの実験では、動作品質とテキスト-モーションの一貫性のバランスをとることで、マスク戦略が効果的であることが示された。

関連論文リスト

• M2D2M: Multi-Motion Generation from Text with Discrete Diffusion Models [18.125860678409804]
  テキスト記述から人間の動きを生成するための新しいアプローチであるM2D2M(Multi-Motion Discrete Diffusion Models)を紹介する。 M2D2Mは、マルチモーションシーケンスを生成するという課題に順応的に対処し、一連のアクション間の動きとコヒーレンスをシームレスに遷移させる。
  論文  参考訳（メタデータ） (2024-07-19T17:57:33Z)
• AMD:Anatomical Motion Diffusion with Interpretable Motion Decomposition and Fusion [11.689663297469945]
  適応運動拡散モデルを提案する。 入力テキストを簡潔で解釈可能な解剖学的スクリプトのシーケンスにパースするために、LLM(Large Language Model)を利用する。 次に、逆拡散過程における入力テキストと解剖学的スクリプトの影響を均衡させる2分岐融合方式を考案する。
  論文  参考訳（メタデータ） (2023-12-20T04:49:45Z)
• DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
  そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。 既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。 動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
  論文  参考訳（メタデータ） (2023-12-07T04:39:22Z)
• DiverseMotion: Towards Diverse Human Motion Generation via Discrete Diffusion [70.33381660741861]
  テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。 我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
  論文  参考訳（メタデータ） (2023-09-04T05:43:48Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
  MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。 本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。 文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
  論文  参考訳（メタデータ） (2022-12-08T18:59:48Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)
• Human Motion Diffusion Model [35.05219668478535]
  運動拡散モデル(英: Motion Diffusion Model、MDM)は、人間の動作領域に対する変換器に基づく生成モデルである。 我々は,本モデルが軽量な資源で訓練されていることを示すとともに,テキスト・トゥ・モーションとアクション・トゥ・モーションのベンチマークにおいて,最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2022-09-29T16:27:53Z)
• TEMOS: Generating diverse human motions from textual descriptions [53.85978336198444]
  テキスト記述から多種多様な人間の動作を生成するという課題に対処する。 本研究では,人間の動作データを用いた可変オートエンコーダ(VAE)トレーニングを利用したテキスト条件生成モデルTEMOSを提案する。 TEMOSフレームワークは,従来のような骨格に基づくアニメーションと,より表現力のあるSMPLボディモーションの両方を生成可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T14:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。