論文の概要: MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model
- arxiv url: http://arxiv.org/abs/2404.19759v2
- Date: Tue, 15 Oct 2024 14:22:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:58:10.073817
- Title: MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model
- Title(参考訳): MotionLCM:潜時整合モデルによるリアルタイム制御可能な運動生成
- Authors: Wenxun Dai, Ling-Hao Chen, Jingbo Wang, Jinpeng Liu, Bo Dai, Yansong Tang,
- Abstract要約: この研究は、制御可能なモーション生成をリアルタイムレベルに拡張するMotionLCMを導入している。
まず, 遅延拡散モデルに基づく動き生成のための動き潜時一貫性モデル (MotionLCM) を提案する。
一段階(もしくは数段階)の推論を採用することにより、動作生成のための動き潜伏拡散モデルの実行効率をさらに向上する。
- 参考スコア(独自算出の注目度): 29.93359157128045
- License:
- Abstract: This work introduces MotionLCM, extending controllable motion generation to a real-time level. Existing methods for spatial-temporal control in text-conditioned motion generation suffer from significant runtime inefficiency. To address this issue, we first propose the motion latent consistency model (MotionLCM) for motion generation, building upon the latent diffusion model. By adopting one-step (or few-step) inference, we further improve the runtime efficiency of the motion latent diffusion model for motion generation. To ensure effective controllability, we incorporate a motion ControlNet within the latent space of MotionLCM and enable explicit control signals (e.g., initial poses) in the vanilla motion space to control the generation process directly, similar to controlling other latent-free diffusion models for motion generation. By employing these techniques, our approach can generate human motions with text and control signals in real-time. Experimental results demonstrate the remarkable generation and controlling capabilities of MotionLCM while maintaining real-time runtime efficiency.
- Abstract(参考訳): この研究は、制御可能なモーション生成をリアルタイムレベルに拡張するMotionLCMを導入している。
テキスト条件付き動作生成における時空間制御の既存の方法は、実行時不効率に悩まされる。
この問題に対処するために、我々はまず、遅延拡散モデルに基づいて、モーション生成のための動き潜時整合モデル(MotionLCM)を提案する。
一段階(もしくは数段階)の推論を採用することにより、動作生成のための動き潜伏拡散モデルの実行効率をさらに向上する。
効率的な制御性を確保するため、モーションLCMの潜在空間内にモーション制御ネットを組み込み、バニラ運動空間における明示的な制御信号(例えば初期ポーズ)を有効化して生成プロセスを直接制御する。
これらの手法を用いることで、テキストによる人間の動きをリアルタイムで生成し、制御信号をリアルタイムに生成することができる。
実時間実行効率を維持しながら,MotionLCMの顕著な生成と制御能力を示す実験結果を得た。
関連論文リスト
- Local Action-Guided Motion Diffusion Model for Text-to-Motion Generation [52.87672306545577]
既存の動き生成法は主に大域運動の直接合成に焦点を当てている。
本研究では,局所動作を微粒化制御信号として利用することにより,グローバルな動き生成を容易にする局所動作誘導型動き拡散モデルを提案する。
本手法は,様々な局所動作と連続誘導重み調整をシームレスに組み合わせる柔軟性を提供する。
論文 参考訳(メタデータ) (2024-07-15T08:35:00Z) - Generalizable Implicit Motion Modeling for Video Frame Interpolation [51.966062283735596]
フローベースビデオフレーム補間(VFI)における動きの重要性
General Implicit Motion Modeling (IMM)は、モーションモデリングVFIの新規かつ効果的なアプローチである。
我々のGIMMは、既存のフローベースのVFIワークとスムーズに統合できます。
論文 参考訳(メタデータ) (2024-07-11T17:13:15Z) - MotionClone: Training-Free Motion Cloning for Controllable Video Generation [41.621147782128396]
MotionCloneはトレーニング不要のフレームワークで、参照ビデオからのモーションクローンによってテキスト・ツー・ビデオ生成を制御することができる。
実験により、MotionCloneは、グローバルカメラモーションとローカルオブジェクトモーションの両方に熟練度を示すことが示された。
論文 参考訳(メタデータ) (2024-06-08T03:44:25Z) - FreeMotion: A Unified Framework for Number-free Text-to-Motion Synthesis [65.85686550683806]
そこで本稿では, 条件付き動作分布を用いて, 単独動作と多人数動作を統一する動き生成手法を提案する。
筆者らの枠組みに基づいて,現在ある一対一動作空間制御手法をシームレスに統合し,多対一動作の正確な制御を実現する。
論文 参考訳(メタデータ) (2024-05-24T17:57:57Z) - FLD: Fourier Latent Dynamics for Structured Motion Representation and
Learning [19.491968038335944]
本研究では,周期的・準周期的な動きの時空間関係を抽出する自己教師付き構造表現生成手法を提案する。
我々の研究は、一般的な動き表現と学習アルゴリズムの今後の進歩への新たな可能性を開く。
論文 参考訳(メタデータ) (2024-02-21T13:59:21Z) - Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。
提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文 参考訳(メタデータ) (2023-12-14T12:57:35Z) - EMDM: Efficient Motion Diffusion Model for Fast and High-Quality Motion Generation [57.539634387672656]
現在の最先端生成拡散モデルでは、優れた結果が得られたが、品質を犠牲にすることなく、高速な生成に苦慮している。
高速かつ高品質な人体運動生成のための効率的な運動拡散モデル(EMDM)を提案する。
論文 参考訳(メタデータ) (2023-12-04T18:58:38Z) - Interactive Character Control with Auto-Regressive Motion Diffusion Models [18.727066177880708]
リアルタイム動作合成のためのA-MDM(Auto-Regressive Motion Diffusion Model)を提案する。
我々の条件拡散モデルは初期ポーズを入力とし、前者のフレームに条件付けられた連続した動きフレームを自動回帰的に生成する。
本稿では,タスク指向サンプリング,インペインティング,階層的強化学習など,対話型制御をA-MDMに組み込む一連の手法を紹介する。
論文 参考訳(メタデータ) (2023-06-01T07:48:34Z) - Guided Motion Diffusion for Controllable Human Motion Synthesis [18.660523853430497]
本稿では,空間的制約を運動生成プロセスに組み込む手法として,誘導運動拡散(GMD)を提案する。
具体的には、空間情報と局所的なポーズの一貫性を高めるために、動きの表現を操作する効果的な特徴投影方式を提案する。
本実験はGMDの開発を正当化し,テキストベースモーション生成における最先端手法を大幅に改善する。
論文 参考訳(メタデータ) (2023-05-21T21:54:31Z) - Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。
我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-12-08T03:07:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。