論文の概要: Learning Disentangled Representations for Controllable Human Motion Prediction

• arxiv url: http://arxiv.org/abs/2207.01388v1
• Date: Mon, 4 Jul 2022 13:11:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 15:13:32.023752
• Title: Learning Disentangled Representations for Controllable Human Motion Prediction
• Title（参考訳）: 制御可能な人間の運動予測のための不連続表現の学習
• Authors: Chunzhi Gu, Jun Yu and Chao Zhang
• Abstract要約: 制御可能な人間の動作予測のための非絡み合い表現を学習するための新しい枠組みを提案する。 我々の手法は、定性的かつ定量的に、最先端の制御可能な人間の動作を予測することができる。
• 参考スコア（独自算出の注目度）: 24.004809791890445
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative model-based motion prediction techniques have recently realized predicting controlled human motions, such as predicting multiple upper human body motions with similar lower-body motions. However, to achieve this, the state-of-the-art methods require either subsequently learning mapping functions to seek similar motions or training the model repetitively to enable control over the desired portion of body. In this paper, we propose a novel framework to learn disentangled representations for controllable human motion prediction. Our network involves a conditional variational auto-encoder (CVAE) architecture to model full-body human motion, and an extra CVAE path to learn only the corresponding partial-body (e.g., lower-body) motion. Specifically, the inductive bias imposed by the extra CVAE path encourages two latent variables in two paths to respectively govern separate representations for each partial-body motion. With a single training, our model is able to provide two types of controls for the generated human motions: (i) strictly controlling one portion of human body and (ii) adaptively controlling the other portion, by sampling from a pair of latent spaces. Additionally, we extend and adapt a sampling strategy to our trained model to diversify the controllable predictions. Our framework also potentially allows new forms of control by flexibly customizing the input for the extra CVAE path. Extensive experimental results and ablation studies demonstrate that our approach is capable of predicting state-of-the-art controllable human motions both qualitatively and quantitatively.
• Abstract（参考訳）: 生成モデルに基づく運動予測技術は、最近、制御された人間の動きを予測することを実現している。 しかし、これを達成するために最先端の手法は、同様の動きを求めるためにマッピング関数を学習するか、身体の所望の部分をコントロールするために反復的にモデルを訓練する必要がある。 本稿では,制御可能な人間の動作予測のための非絡み合い表現を学習するための新しい枠組みを提案する。 我々のネットワークは、完全な身体の動きをモデル化するための条件付き変分自動エンコーダ(CVAE)アーキテクチャと、対応する部分体(例えば下体)の動きのみを学ぶための追加のCVAEパスを含んでいる。 具体的には、余分なcvae経路によって課される帰納バイアスは、2つの経路内の2つの潜在変数をそれぞれ各部分体運動の別々の表現を制御するように促す。 一つのトレーニングで、我々のモデルは、生成された人間の動きに対する2つのタイプの制御を提供することができる。 (i)人体の一方を厳しく支配すること、及び 2)一対の潜伏空間からサンプリングすることにより、他の部分を適応的に制御する。 さらに、トレーニングしたモデルにサンプリング戦略を拡張して適用することで、制御可能な予測を多様化します。 また, CVAE経路の入力を柔軟にカスタマイズすることで, 新たな制御が可能となる可能性がある。 広範囲な実験結果とアブレーション研究により,本手法は定性的かつ定量的に制御可能な人間の運動を予測できることを示した。

関連論文リスト

• CAR: Controllable Autoregressive Modeling for Visual Generation [100.33455832783416]
  Controllable AutoRegressive Modeling (CAR)は、条件制御をマルチスケールの潜在変数モデリングに統合する新しいプラグイン・アンド・プレイフレームワークである。 CARは、制御表現を徐々に洗練し、キャプチャし、前訓練されたモデルの各自己回帰ステップに注入して生成プロセスを導く。 提案手法は,様々な条件にまたがって優れた制御性を示し,従来の手法に比べて画質の向上を実現している。
  論文  参考訳（メタデータ） (2024-10-07T00:55:42Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Executing your Commands via Motion Diffusion in Latent Space [51.64652463205012]
  本研究では,動作遅延に基づく拡散モデル(MLD)を提案し,条件付き入力に対応する鮮明な動き列を生成する。 我々のMDDは、広範囲な人体運動生成タスクにおいて、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-12-08T03:07:00Z)
• DMMGAN: Diverse Multi Motion Prediction of 3D Human Joints using Attention-Based Generative Adverserial Network [9.247294820004143]
  本稿では,多種多様な人間の動きを予測するためのトランスフォーマーに基づく生成モデルを提案する。 本モデルでは、まず、股関節に対する身体の姿勢を予測し、次に、textitHip予測モジュールが、予測された各ポーズフレームに対する股関節運動の軌跡を予測する。 本研究では,ヒトの動作予測において,股関節運動を伴う多動将来の軌跡を予測しながら,最先端の動作予測に優れることを示す。
  論文  参考訳（メタデータ） (2022-09-13T23:22:33Z)
• Weakly-supervised Action Transition Learning for Stochastic Human Motion Prediction [81.94175022575966]
  動作駆動型人間の動作予測の課題について紹介する。 一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
  論文  参考訳（メタデータ） (2022-05-31T08:38:07Z)
• Generating Smooth Pose Sequences for Diverse Human Motion Prediction [90.45823619796674]
  本稿では,多様な動作予測と制御可能な動作予測のための統合された深部生成ネットワークを提案する。 標準ベンチマークデータセットであるHuman3.6MとHumanEva-Iの2つの実験は、我々のアプローチがサンプルの多様性と精度の両方において最先端のベースラインより優れていることを示した。
  論文  参考訳（メタデータ） (2021-08-19T00:58:00Z)
• TRiPOD: Human Trajectory and Pose Dynamics Forecasting in the Wild [77.59069361196404]
  TRiPODは、グラフの注目ネットワークに基づいて身体のダイナミクスを予測する新しい方法です。 実世界の課題を取り入れるために,各フレームで推定された身体関節が可視・視認可能かどうかを示す指標を学習する。 評価の結果,TRiPODは,各軌道に特化して設計され,予測タスクに特化している。
  論文  参考訳（メタデータ） (2021-04-08T20:01:00Z)
• Learning Multiscale Correlations for Human Motion Prediction [10.335804615372629]
  本研究では、人体成分間の相関を捕捉する新しいマルチスケールグラフ畳み込みネットワーク(MGCN)を提案する。 ヒューマンモーション予測のための2つの標準ベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-03-19T07:58:16Z)
• Aggregated Multi-GANs for Controlled 3D Human Motion Prediction [39.84142236414808]
  本研究では,人間の運動予測タスクの一般化を提案し,制御パラメータを容易に組み込んで予測運動を調整する。 本手法は,行動タイプ間で操作可能な動作予測が可能であり,人間の動きを様々な細かな方法でカスタマイズできるという点で説得力がある。
  論文  参考訳（メタデータ） (2021-03-17T16:22:36Z)
• Reinforcement Learning Control of a Biomechanical Model of the Upper Extremity [0.0]
  我々は、強化学習で実施されるモータバブリング手法を用いて制御ポリシーを学習する。 我々は7つの運動自由度を含む最先端のバイオメカニカルモデルを用いている。 次元の呪いに対処するために、個々の筋肉の代わりに各自由度で作用する簡易な2階筋モデルを用いる。
  論文  参考訳（メタデータ） (2020-11-13T19:49:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。