論文の概要: TLControl: Trajectory and Language Control for Human Motion Synthesis
- arxiv url: http://arxiv.org/abs/2311.17135v3
- Date: Tue, 12 Dec 2023 22:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 03:33:32.865718
- Title: TLControl: Trajectory and Language Control for Human Motion Synthesis
- Title(参考訳): TLControl:人間の運動合成のための軌道と言語制御
- Authors: Weilin Wan, Zhiyang Dou, Taku Komura, Wenping Wang, Dinesh Jayaraman,
Lingjie Liu
- Abstract要約: 本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。
まず、VQ-VAEをトレーニングし、ボディパーツによって構成されたコンパクトな潜伏運動空間を学習する。
そこで我々は,関節の完全な軌跡の粗い初期予測を行うMasked Trajectories Transformerを提案する。
- 参考スコア(独自算出の注目度): 72.1577841503518
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Controllable human motion synthesis is essential for applications in AR/VR,
gaming, movies, and embodied AI. Existing methods often focus solely on either
language or full trajectory control, lacking precision in synthesizing motions
aligned with user-specified trajectories, especially for multi-joint control.
To address these issues, we present TLControl, a new method for realistic human
motion synthesis, incorporating both low-level trajectory and high-level
language semantics controls. Specifically, we first train a VQ-VAE to learn a
compact latent motion space organized by body parts. We then propose a Masked
Trajectories Transformer to make coarse initial predictions of full
trajectories of joints based on the learned latent motion space, with
user-specified partial trajectories and text descriptions as conditioning.
Finally, we introduce an efficient test-time optimization to refine these
coarse predictions for accurate trajectory control. Experiments demonstrate
that TLControl outperforms the state-of-the-art in trajectory accuracy and time
efficiency, making it practical for interactive and high-quality animation
generation.
- Abstract(参考訳): 制御可能な人間のモーション合成は、AR/VR、ゲーム、映画、エンボディドAIの応用に不可欠である。
既存の手法は言語または完全な軌道制御にのみ焦点をあてることが多く、特にマルチジョイント制御において、ユーザが特定した軌道に合わせた合成動作の精度に欠ける。
これらの問題に対処するため,TLControlは,低レベルな軌跡と高レベルな言語セマンティクス制御の両方を取り入れた,リアルな人間の動作合成のための新しい手法である。
具体的には、まずVQ-VAEをトレーニングし、ボディパーツによって構成されたコンパクトな潜在運動空間を学習する。
次に,学習された潜在運動空間に基づく関節の完全な軌跡の粗い初期予測を行うために,ユーザが指定した部分的軌跡とテキスト記述を条件として仮面付き軌跡変換器を提案する。
最後に, 高精度軌道制御のための粗い予測を洗練するために, 効率的なテストタイム最適化を提案する。
実験により,TLControlはトラジェクトリの精度と時間効率に優れており,インタラクティブで高品質なアニメーション生成に実用的であることが示された。
関連論文リスト
- InterControl: Generate Human Motion Interactions by Controlling Every
Joint [63.76228576042726]
各関節のフレキシブルな空間制御を実現するために,InterControlという新しい手法を提案する。
粗い空間制御信号が与えられたコヒーレントでリアルな動きを生成するために、モーション制御ネットを組み込む。
HumanML3DとKIT-MLデータセットの実験は、多目的関節制御におけるその効果を実証している。
論文 参考訳(メタデータ) (2023-11-27T14:32:33Z) - OmniControl: Control Any Joint at Any Time for Human Motion Generation [49.66617487733835]
テキスト条件付き人体動作生成モデルにフレキシブルな空間制御信号を統合するために,OmniControlという新しい手法を提案する。
本稿では,入力制御信号に厳密に適合した動作を実現するための解析的空間ガイダンスを提案する。
同時に、全ての関節を洗練してよりコヒーレントな動きを生み出すためにリアリズムガイダンスが導入された。
論文 参考訳(メタデータ) (2023-10-12T17:59:38Z) - Universal Humanoid Motion Representations for Physics-Based Control [74.53927919796139]
本稿では、ヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現について述べる。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳(メタデータ) (2023-10-06T20:48:43Z) - End-to-End Reinforcement Learning for Torque Based Variable Height
Hopping [5.34772724436823]
足の移動は自然または非構造地形を扱うのに最も適しており、多用途であることは間違いない。
本稿では,ジャンプ位相を暗黙的に検出するエンド・ツー・エンドのRL型トルクコントローラを提案する。
また、学習した制御器がリッチな動的タスクに接触できるように、シミュレーション手法を拡張し、ロボットへの展開を成功させる。
論文 参考訳(メタデータ) (2023-07-31T13:51:29Z) - Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory
Diffusion [83.88829943619656]
本研究では,現実的な歩行者軌跡生成手法と,ユーザ定義目標を達成するために制御可能なフルボディアニメーションを提案する。
我々のガイド付き拡散モデルでは,対象とする経路,速度,特定社会集団による軌道の制約が可能である。
本稿では,アニメーションコントローラのRLトレーニング中に学習した値関数を用いて,拡散を誘導し,特定のシナリオに適した軌道を生成することを提案する。
論文 参考訳(メタデータ) (2023-04-04T15:46:42Z) - Diverse Dance Synthesis via Keyframes with Transformer Controllers [10.23813069057791]
本稿では,複数の制約に基づく動きに基づく動き生成ネットワークを提案し,学習知識を用いて多様なダンス合成を実現する。
我々のネットワークのバックボーンは2つの長い短期記憶(LSTM)ユニットからなる階層的RNNモジュールであり、最初のLSTMを用いて歴史的フレームの姿勢情報を潜時空間に埋め込む。
本フレームワークは2つのTransformerベースのコントローラを備えており,それぞれがルート軌道と速度係数の制約をモデル化するために使用される。
論文 参考訳(メタデータ) (2022-07-13T00:56:46Z) - Bayesian Optimization Meets Hybrid Zero Dynamics: Safe Parameter
Learning for Bipedal Locomotion Control [17.37169551675587]
両足歩行ロボットの移動制御のためのマルチドメイン制御パラメータ学習フレームワークを提案する。
BOを利用して、HZDベースのコントローラで使用される制御パラメータを学習する。
次に、物理ロボットに学習プロセスを適用し、シミュレーションで学習した制御パラメータの修正を学習する。
論文 参考訳(メタデータ) (2022-03-04T20:48:17Z) - AMP: Adversarial Motion Priors for Stylized Physics-Based Character
Control [145.61135774698002]
我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。
キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。
キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。
本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
論文 参考訳(メタデータ) (2021-04-05T22:43:14Z) - Character Controllers Using Motion VAEs [9.806910643086045]
動きのvaesを用いて,人間の運動のデータ駆動生成モデルを学ぶ。
計画や制御アルゴリズムは、このアクション空間を使って望ましい動きを生成することができる。
論文 参考訳(メタデータ) (2021-03-26T05:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。