論文の概要: Controllable Motion Diffusion Model
- arxiv url: http://arxiv.org/abs/2306.00416v1
- Date: Thu, 1 Jun 2023 07:48:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 17:43:07.513288
- Title: Controllable Motion Diffusion Model
- Title(参考訳): 制御可能な運動拡散モデル
- Authors: Yi Shi and Jingbo Wang and Xuekun Jiang and Bo Dai
- Abstract要約: 制御可能な運動拡散モデル(COMODO)の枠組みを提案する。
我々のフレームワークは自動回帰運動拡散モデル(A-MDM)から始まり、ステップごとに動きのシーケンスを生成する。
そこで本研究では,A-MDMモデル上での強化学習に基づく制御手法を提案する。
- 参考スコア(独自算出の注目度): 59.52889433954535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating realistic and controllable motions for virtual characters is a
challenging task in computer animation, and its implications extend to games,
simulations, and virtual reality. Recent studies have drawn inspiration from
the success of diffusion models in image generation, demonstrating the
potential for addressing this task. However, the majority of these studies have
been limited to offline applications that target at sequence-level generation
that generates all steps simultaneously. To enable real-time motion synthesis
with diffusion models in response to time-varying control signals, we propose
the framework of the Controllable Motion Diffusion Model (COMODO). Our
framework begins with an auto-regressive motion diffusion model (A-MDM), which
generates motion sequences step by step. In this way, simply using the standard
DDPM algorithm without any additional complexity, our framework is able to
generate high-fidelity motion sequences over extended periods with different
types of control signals. Then, we propose our reinforcement learning-based
controller and controlling strategies on top of the A-MDM model, so that our
framework can steer the motion synthesis process across multiple tasks,
including target reaching, joystick-based control, goal-oriented control, and
trajectory following. The proposed framework enables the real-time generation
of diverse motions that react adaptively to user commands on-the-fly, thereby
enhancing the overall user experience. Besides, it is compatible with the
inpainting-based editing methods and can predict much more diverse motions
without additional fine-tuning of the basic motion generation models. We
conduct comprehensive experiments to evaluate the effectiveness of our
framework in performing various tasks and compare its performance against
state-of-the-art methods.
- Abstract(参考訳): 仮想文字のリアルで制御可能な動きを生成することは、コンピュータアニメーションにおいて難しい課題であり、その意味はゲーム、シミュレーション、バーチャルリアリティに及んでいる。
近年の研究では、画像生成における拡散モデルの成功からインスピレーションを得て、この問題に対処する可能性を示している。
しかしながら、これらの研究の大部分は、全てのステップを同時に生成するシーケンスレベルの生成をターゲットとするオフラインアプリケーションに限られている。
時間変動制御信号に応答した拡散モデルを用いた実時間動き合成を実現するために,制御可能な動き拡散モデル(comodo)の枠組みを提案する。
我々のフレームワークは自動回帰運動拡散モデル(A-MDM)から始まり、ステップごとに動きのシーケンスを生成する。
このように、単に標準のddpmアルゴリズムを複雑さなしで使うだけで、異なる種類の制御信号を持つ長い期間にわたって、忠実度の高い動き列を生成できる。
そこで我々は,A-MDMモデル上での強化学習に基づく制御と制御戦略を提案し,目標到達,ジョイスティックベース制御,目標指向制御,軌道追従など,複数のタスクにまたがる動作合成プロセスの制御を可能にする。
提案フレームワークは,ユーザコマンドに適応的に反応する多様な動作をリアルタイムに生成し,ユーザエクスペリエンスを向上する。
さらに、インパインティングベースの編集手法と互換性があり、基本的なモーション生成モデルを微調整することなく、より多様な動きを予測できる。
我々は,様々なタスクの実行におけるフレームワークの有効性を総合的に評価し,その性能を最先端手法と比較する。
関連論文リスト
- Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。
提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
論文 参考訳(メタデータ) (2023-12-14T12:57:35Z) - MoConVQ: Unified Physics-Based Motion Control via Scalable Discrete
Representations [25.630268570049708]
MoConVQは、スケーラブルな離散表現を活用する物理ベースのモーションコントロールのための新しい統合フレームワークである。
提案手法は,数十時間の動作例にまたがる大規模非構造データセットから,効果的に動作埋め込みを学習する。
論文 参考訳(メタデータ) (2023-10-16T09:09:02Z) - Controllable Motion Synthesis and Reconstruction with Autoregressive
Diffusion Models [18.50942770933098]
MoDiff(モディフ)は、他のモードの制御コンテキストに条件付けられた動き列上の自己回帰的確率拡散モデルである。
本モデルでは、モーダルトランスフォーマーエンコーダとトランスフォーマーベースのデコーダを統合し、動作の時間的相関と制御のモダリティを捉えるのに有効である。
論文 参考訳(メタデータ) (2023-04-03T08:17:08Z) - Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。
我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2022-12-08T03:07:00Z) - Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。
我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。
公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
論文 参考訳(メタデータ) (2022-10-27T02:45:48Z) - NEURAL MARIONETTE: A Transformer-based Multi-action Human Motion
Synthesis System [51.43113919042621]
本稿では,長期・多動作型人体動作合成のためのニューラルネットワークシステムを提案する。
このシステムは、単純なユーザ入力からスムーズな遷移を伴う有意義な動作を生成することができる。
また,マルチアクション動作合成タスクに特化した新しいデータセットを提案する。
論文 参考訳(メタデータ) (2022-09-27T07:10:20Z) - AMP: Adversarial Motion Priors for Stylized Physics-Based Character
Control [145.61135774698002]
我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。
キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。
キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。
本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
論文 参考訳(メタデータ) (2021-04-05T22:43:14Z) - CARL: Controllable Agent with Reinforcement Learning for Quadruped
Locomotion [0.0]
CARLは、高レベルの指示で制御でき、動的環境に自然に反応できる4重結合剤である。
我々は、ジェネレーティブ・アドリラル・ネットワークを使用して、速度や方向などのハイレベルな制御を、オリジナルのアニメーションに対応するアクション・ディストリビューションに適応させる。
深部強化学習によるさらなる微調整により、エージェントは、スムーズな遷移を発生させながら、目に見えない外部摂動から回復することができる。
論文 参考訳(メタデータ) (2020-05-07T07:18:57Z) - Goal-Conditioned End-to-End Visuomotor Control for Versatile Skill
Primitives [89.34229413345541]
本稿では,制御器とその条件をエンドツーエンドに学習することで,落とし穴を回避する条件付け手法を提案する。
本モデルでは,ロボットの動きのダイナミックな画像表現に基づいて,複雑な動作シーケンスを予測する。
代表的MPCおよびILベースラインに対するタスク成功の大幅な改善を報告した。
論文 参考訳(メタデータ) (2020-03-19T15:04:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。