論文の概要: Universal Humanoid Motion Representations for Physics-Based Control

• arxiv url: http://arxiv.org/abs/2310.04582v2
• Date: Fri, 12 Apr 2024 03:33:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 19:45:17.486590
• Title: Universal Humanoid Motion Representations for Physics-Based Control
• Title（参考訳）: 物理制御のためのユニバーサルヒューマノイド運動表現
• Authors: Zhengyi Luo, Jinkun Cao, Josh Merel, Alexander Winkler, Jing Huang, Kris Kitani, Weipeng Xu,
• Abstract要約: 物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
• 参考スコア（独自算出の注目度）: 71.46142106079292
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present a universal motion representation that encompasses a comprehensive range of motor skills for physics-based humanoid control. Due to the high dimensionality of humanoids and the inherent difficulties in reinforcement learning, prior methods have focused on learning skill embeddings for a narrow range of movement styles (e.g. locomotion, game characters) from specialized motion datasets. This limited scope hampers their applicability in complex tasks. We close this gap by significantly increasing the coverage of our motion representation space. To achieve this, we first learn a motion imitator that can imitate all of human motion from a large, unstructured motion dataset. We then create our motion representation by distilling skills directly from the imitator. This is achieved by using an encoder-decoder structure with a variational information bottleneck. Additionally, we jointly learn a prior conditioned on proprioception (humanoid's own pose and velocities) to improve model expressiveness and sampling efficiency for downstream tasks. By sampling from the prior, we can generate long, stable, and diverse human motions. Using this latent space for hierarchical RL, we show that our policies solve tasks using human-like behavior. We demonstrate the effectiveness of our motion representation by solving generative tasks (e.g. strike, terrain traversal) and motion tracking using VR controllers.
• Abstract（参考訳）: 物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 ヒューマノイドの高次元性と強化学習における固有の困難さから,従来の手法では,特定の動作データセットから限られた動作スタイル(例えば,ゲームキャラクタ)の学習スキル埋め込みに重点を置いてきた。 この制限されたスコープは、複雑なタスクにおける適用性を損なう。 運動表現空間のカバレッジを大幅に増加させることで、このギャップを埋める。 これを実現するために、我々はまず、大きな非構造運動データセットから人間のすべての動きを模倣できる運動模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。 これは、変分情報ボトルネックを持つエンコーダ・デコーダ構造を使用することで実現される。 さらに, モデル表現性を向上し, 下流タスクのサンプリング効率を向上させるために, プロプレオセプションを前提とした事前条件(ヒューマノイドの姿勢と速度)を共同で学習する。 前者からサンプリングすることで、長い、安定した、多様な人間の動きを生成できる。 階層的RLのこの潜在空間を用いて、我々のポリシーは人間的な行動を用いてタスクを解決していることを示す。 生成タスク(例えば、ストライク、地形トラバーサル)とVRコントローラを用いたモーショントラッキングを解くことで、動作表現の有効性を実証する。

関連論文リスト

• FreeMotion: MoCap-Free Human Motion Synthesis with Multimodal Large Language Models [19.09048969615117]
  MLLMをベースとしたユーザ制御信号として自然言語命令を用いたオープンなヒューマンモーション合成について検討する。 本手法は,多くの下流タスクにおいて,一般的な人間の動作合成を実現することができる。
  論文  参考訳（メタデータ） (2024-06-15T21:10:37Z)
• Monkey See, Monkey Do: Harnessing Self-attention in Motion Diffusion for Zero-shot Motion Transfer [55.109778609058154]
  既存の拡散に基づく運動編集法は、事前訓練されたモデルの重みに埋め込まれた前者の深いポテンシャルを見落としている。 動きパターンのキャプチャーと表現における注目要素の役割と相互作用を明らかにする。 我々はこれらの要素を統合して、従者のニュアンス特性を維持しつつ、従者へのリーダ動作の転送を行い、結果としてゼロショット動作の転送を実現した。
  論文  参考訳（メタデータ） (2024-06-10T17:47:14Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• Human MotionFormer: Transferring Human Motions with Vision Transformers [73.48118882676276]
  人間の動き伝達は、運動合成のためにターゲットの動的人物からソースの静的人物に動きを伝達することを目的としている。 本稿では,世界的および地域的認識を活用して,大規模かつ微妙な動きマッチングを捉える階層型ViTフレームワークであるHuman MotionFormerを提案する。 我々のHuman MotionFormerは、定性的かつ定量的に新しい最先端のパフォーマンスをセットしている。
  論文  参考訳（メタデータ） (2023-02-22T11:42:44Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
  人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。 本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。 映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-07T23:11:42Z)
• Character Controllers Using Motion VAEs [9.806910643086045]
  動きのvaesを用いて,人間の運動のデータ駆動生成モデルを学ぶ。 計画や制御アルゴリズムは、このアクション空間を使って望ましい動きを生成することができる。
  論文  参考訳（メタデータ） (2021-03-26T05:51:41Z)
• UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
  大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。 UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
  論文  参考訳（メタデータ） (2020-11-30T18:51:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。