論文の概要: MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model

• arxiv url: http://arxiv.org/abs/2404.19759v2
• Date: Tue, 15 Oct 2024 14:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 13:58:10.073817
• Title: MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model
• Title（参考訳）: MotionLCM:潜時整合モデルによるリアルタイム制御可能な運動生成
• Authors: Wenxun Dai, Ling-Hao Chen, Jingbo Wang, Jinpeng Liu, Bo Dai, Yansong Tang,
• Abstract要約: この研究は、制御可能なモーション生成をリアルタイムレベルに拡張するMotionLCMを導入している。 まず, 遅延拡散モデルに基づく動き生成のための動き潜時一貫性モデル (MotionLCM) を提案する。 一段階(もしくは数段階)の推論を採用することにより、動作生成のための動き潜伏拡散モデルの実行効率をさらに向上する。
• 参考スコア（独自算出の注目度）: 29.93359157128045
• License:
• Abstract: This work introduces MotionLCM, extending controllable motion generation to a real-time level. Existing methods for spatial-temporal control in text-conditioned motion generation suffer from significant runtime inefficiency. To address this issue, we first propose the motion latent consistency model (MotionLCM) for motion generation, building upon the latent diffusion model. By adopting one-step (or few-step) inference, we further improve the runtime efficiency of the motion latent diffusion model for motion generation. To ensure effective controllability, we incorporate a motion ControlNet within the latent space of MotionLCM and enable explicit control signals (e.g., initial poses) in the vanilla motion space to control the generation process directly, similar to controlling other latent-free diffusion models for motion generation. By employing these techniques, our approach can generate human motions with text and control signals in real-time. Experimental results demonstrate the remarkable generation and controlling capabilities of MotionLCM while maintaining real-time runtime efficiency.
• Abstract（参考訳）: この研究は、制御可能なモーション生成をリアルタイムレベルに拡張するMotionLCMを導入している。 テキスト条件付き動作生成における時空間制御の既存の方法は、実行時不効率に悩まされる。 この問題に対処するために、我々はまず、遅延拡散モデルに基づいて、モーション生成のための動き潜時整合モデル(MotionLCM)を提案する。 一段階(もしくは数段階)の推論を採用することにより、動作生成のための動き潜伏拡散モデルの実行効率をさらに向上する。 効率的な制御性を確保するため、モーションLCMの潜在空間内にモーション制御ネットを組み込み、バニラ運動空間における明示的な制御信号(例えば初期ポーズ)を有効化して生成プロセスを直接制御する。 これらの手法を用いることで、テキストによる人間の動きをリアルタイムで生成し、制御信号をリアルタイムに生成することができる。 実時間実行効率を維持しながら,MotionLCMの顕著な生成と制御能力を示す実験結果を得た。

関連論文リスト

• MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
  MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。 難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
  論文  参考訳（メタデータ） (2024-10-29T05:25:34Z)
• ControlMM: Controllable Masked Motion Generation [38.16884934336603]
  生成マスク運動モデルに空間制御信号を組み込む新しい手法である制御MMを提案する。 ControlMMは、リアルタイム、高忠実、高精度な制御可能なモーション生成を同時に達成する。 ControlMMは拡散法よりも20倍速く動きを生成する。
  論文  参考訳（メタデータ） (2024-10-14T17:50:27Z)
• DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control [12.465927271402442]
  テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。 DARTは、リアルタイムテキスト駆動モーション制御のための拡散型自動回帰モーションプリミティブモデルである。 動作合成タスクにおいて,モデルの汎用性と優れた性能を実証し,両手法に有効なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-07T17:58:22Z)
• Real-time Diverse Motion In-betweening with Space-time Control [4.910937238451485]
  本研究では,キネマティックキャラクタのための多種多様な相互動作を生成するためのデータ駆動型フレームワークを提案する。 本手法は,移動動作と非構造動作の両方を合成し,リッチで汎用的で高品質なアニメーション生成を可能にする。
  論文  参考訳（メタデータ） (2024-09-30T22:45:53Z)
• Local Action-Guided Motion Diffusion Model for Text-to-Motion Generation [52.87672306545577]
  既存の動き生成法は主に大域運動の直接合成に焦点を当てている。 本研究では,局所動作を微粒化制御信号として利用することにより,グローバルな動き生成を容易にする局所動作誘導型動き拡散モデルを提案する。 本手法は,様々な局所動作と連続誘導重み調整をシームレスに組み合わせる柔軟性を提供する。
  論文  参考訳（メタデータ） (2024-07-15T08:35:00Z)
• Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
  フローベースビデオフレーム補間(VFI)における動きの重要性 General Implicit Motion Modeling (IMM)は、モーションモデリングVFIの新規かつ効果的なアプローチである。 我々のGIMMは、既存のフローベースのVFIワークとスムーズに統合できます。
  論文  参考訳（メタデータ） (2024-07-11T17:13:15Z)
• FreeMotion: A Unified Framework for Number-free Text-to-Motion Synthesis [65.85686550683806]
  そこで本稿では, 条件付き動作分布を用いて, 単独動作と多人数動作を統一する動き生成手法を提案する。 筆者らの枠組みに基づいて,現在ある一対一動作空間制御手法をシームレスに統合し,多対一動作の正確な制御を実現する。
  論文  参考訳（メタデータ） (2024-05-24T17:57:57Z)
• FLD: Fourier Latent Dynamics for Structured Motion Representation and Learning [19.491968038335944]
  本研究では,周期的・準周期的な動きの時空間関係を抽出する自己教師付き構造表現生成手法を提案する。 我々の研究は、一般的な動き表現と学習アルゴリズムの今後の進歩への新たな可能性を開く。
  論文  参考訳（メタデータ） (2024-02-21T13:59:21Z)
• Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
  本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。 提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-14T12:57:35Z)
• EMDM: Efficient Motion Diffusion Model for Fast and High-Quality Motion Generation [57.539634387672656]
  現在の最先端生成拡散モデルでは、優れた結果が得られたが、品質を犠牲にすることなく、高速な生成に苦慮している。 高速かつ高品質な人体運動生成のための効率的な運動拡散モデル(EMDM)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:58:38Z)
• Guided Motion Diffusion for Controllable Human Motion Synthesis [18.660523853430497]
  本稿では,空間的制約を運動生成プロセスに組み込む手法として,誘導運動拡散(GMD)を提案する。 具体的には、空間情報と局所的なポーズの一貫性を高めるために、動きの表現を操作する効果的な特徴投影方式を提案する。 本実験はGMDの開発を正当化し,テキストベースモーション生成における最先端手法を大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-21T21:54:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。