論文の概要: TLControl: Trajectory and Language Control for Human Motion Synthesis

• arxiv url: http://arxiv.org/abs/2311.17135v4
• Date: Wed, 24 Jul 2024 13:55:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-25 19:40:18.468539
• Title: TLControl: Trajectory and Language Control for Human Motion Synthesis
• Title（参考訳）: TLControl:人間の運動合成のための軌道と言語制御
• Authors: Weilin Wan, Zhiyang Dou, Taku Komura, Wenping Wang, Dinesh Jayaraman, Lingjie Liu,
• Abstract要約: 本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。 低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。 インタラクティブで高品質なアニメーション生成には実用的である。
• 参考スコア（独自算出の注目度）: 68.09806223962323
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Controllable human motion synthesis is essential for applications in AR/VR, gaming and embodied AI. Existing methods often focus solely on either language or full trajectory control, lacking precision in synthesizing motions aligned with user-specified trajectories, especially for multi-joint control. To address these issues, we present TLControl, a novel method for realistic human motion synthesis, incorporating both low-level Trajectory and high-level Language semantics controls, through the integration of neural-based and optimization-based techniques. Specifically, we begin with training a VQ-VAE for a compact and well-structured latent motion space organized by body parts. We then propose a Masked Trajectories Transformer (MTT) for predicting a motion distribution conditioned on language and trajectory. Once trained, we use MTT to sample initial motion predictions given user-specified partial trajectories and text descriptions as conditioning. Finally, we introduce a test-time optimization to refine these coarse predictions for precise trajectory control, which offers flexibility by allowing users to specify various optimization goals and ensures high runtime efficiency. Comprehensive experiments show that TLControl significantly outperforms the state-of-the-art in trajectory accuracy and time efficiency, making it practical for interactive and high-quality animation generation.
• Abstract（参考訳）: 制御可能な人間のモーション合成は、AR/VR、ゲーム、エンボディAIの応用に不可欠である。 既存の手法は言語または完全な軌道制御にのみ焦点をあてることが多く、特にマルチジョイント制御において、ユーザが特定した軌道に合わせた合成動作の精度が欠如している。 これらの課題に対処するために,我々は,ニューラルネットワークと最適化技術の統合により,低レベルトラジェクトリと高レベル言語セマンティクスの両方を取り入れた,リアルな人間の動作合成の新しい手法であるTLControlを提案する。 具体的には,VQ-VAEのトレーニングから始める。 次に,モーズドトラジェクトリ変換器 (MTT) を提案する。 トレーニング後,ユーザが指定した部分的軌跡とテキスト記述を条件付けとして,MTTを用いて初期動作予測をサンプリングする。 最後に,これらの粗い予測を高精度な軌道制御のために改良するテスト時最適化を提案する。 総合的な実験により、TLControlは軌道精度と時間効率において最先端の技術を著しく上回り、インタラクティブで高品質なアニメーション生成に実用的であることが示された。

関連論文リスト

• MotionGPT-2: A General-Purpose Motion-Language Model for Motion Generation and Understanding [76.30210465222218]
  MotionGPT-2は、MLMLM(Large Motion-Language Model)である。 LLM(Large Language Models)によるマルチモーダル制御をサポートしている。 難易度の高い3次元全体運動生成タスクに高い適応性を持つ。
  論文  参考訳（メタデータ） (2024-10-29T05:25:34Z)
• MotionRL: Align Text-to-Motion Generation to Human Preferences with Multi-Reward Reinforcement Learning [99.09906827676748]
  我々は、テキスト・ツー・モーション生成タスクを最適化するために、Multi-Reward Reinforcement Learning(RL)を利用する最初のアプローチであるMotionRLを紹介する。 我々の新しいアプローチは、人間の知覚モデルに関する知識以前の人間の嗜好に基づいて、強化学習を用いて運動生成体を微調整する。 さらに、MotionRLは、テキストのアテンデンス、モーションクオリティ、人間の好みの最適性を近似する、新しい多目的最適化戦略を導入している。
  論文  参考訳（メタデータ） (2024-10-09T03:27:14Z)
• DART: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control [12.465927271402442]
  テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。 DARTは、リアルタイムテキスト駆動モーション制御のための拡散型自動回帰モーションプリミティブモデルである。 動作合成タスクにおいて,モデルの汎用性と優れた性能を実証し,両手法に有効なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-07T17:58:22Z)
• ETTrack: Enhanced Temporal Motion Predictor for Multi-Object Tracking [4.250337979548885]
  時間的動き予測器であるETTrackを用いた動きに基づくMOT手法を提案する。 具体的には、動作予測器は、変換器モデルと時間畳み込みネットワーク(TCN)を統合して、短期および長期の動作パターンをキャプチャする。 本研究では,DanceTrackとSportsMOTの最先端トラッカーと比較して,ETTrackの競争性能が向上していることを示す。
  論文  参考訳（メタデータ） (2024-05-24T17:51:33Z)
• Motion Flow Matching for Human Motion Synthesis and Editing [75.13665467944314]
  本研究では,効率的なサンプリングと効率性を備えた人体運動生成のための新しい生成モデルであるemphMotion Flow Matchingを提案する。 提案手法は, 従来の拡散モデルにおいて, サンプリングの複雑さを1000ステップから10ステップに減らし, テキスト・ツー・モーション・ジェネレーション・ベンチマークやアクション・ツー・モーション・ジェネレーション・ベンチマークで同等の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-14T12:57:35Z)
• Multi-Scale Control Signal-Aware Transformer for Motion Synthesis without Phase [72.01862340497314]
  マルチスケール制御信号認識変換器(MCS-T)を提案する。 MCS-Tは補助情報を用いてメソッドが生成した動作に匹敵する動作をうまく生成できる。
  論文  参考訳（メタデータ） (2023-03-03T02:56:44Z)
• Diverse Dance Synthesis via Keyframes with Transformer Controllers [10.23813069057791]
  本稿では,複数の制約に基づく動きに基づく動き生成ネットワークを提案し,学習知識を用いて多様なダンス合成を実現する。 我々のネットワークのバックボーンは2つの長い短期記憶(LSTM)ユニットからなる階層的RNNモジュールであり、最初のLSTMを用いて歴史的フレームの姿勢情報を潜時空間に埋め込む。 本フレームワークは2つのTransformerベースのコントローラを備えており,それぞれがルート軌道と速度係数の制約をモデル化するために使用される。
  論文  参考訳（メタデータ） (2022-07-13T00:56:46Z)
• Bayesian Optimization Meets Hybrid Zero Dynamics: Safe Parameter Learning for Bipedal Locomotion Control [17.37169551675587]
  両足歩行ロボットの移動制御のためのマルチドメイン制御パラメータ学習フレームワークを提案する。 BOを利用して、HZDベースのコントローラで使用される制御パラメータを学習する。 次に、物理ロボットに学習プロセスを適用し、シミュレーションで学習した制御パラメータの修正を学習する。
  論文  参考訳（メタデータ） (2022-03-04T20:48:17Z)
• AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control [145.61135774698002]
  我々は,与えられたシナリオで追跡するキャラクタの動作を選択するための完全自動化手法を提案する。 キャラクタが実行するべきハイレベルなタスク目標は、比較的単純な報酬関数によって指定できる。 キャラクタの動作の低レベルスタイルは、非構造化モーションクリップのデータセットによって指定できる。 本システムでは,最先端のトラッキング技術に匹敵する高品質な動作を生成する。
  論文  参考訳（メタデータ） (2021-04-05T22:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。