論文の概要: Universal Humanoid Motion Representations for Physics-Based Control
- arxiv url: http://arxiv.org/abs/2310.04582v1
- Date: Fri, 6 Oct 2023 20:48:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 17:30:29.501185
- Title: Universal Humanoid Motion Representations for Physics-Based Control
- Title（参考訳）: 物理制御のためのユニバーサルヒューマノイド運動表現
- Authors: Zhengyi Luo, Jinkun Cao, Josh Merel, Alexander Winkler, Jing Huang,
Kris Kitani, Weipeng Xu
- Abstract要約: 本稿では、ヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現について述べる。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
- 参考スコア（独自算出の注目度）: 74.53927919796139
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a universal motion representation that encompasses a comprehensive
range of motor skills for physics-based humanoid control. Due to the
high-dimensionality of humanoid control as well as the inherent difficulties in
reinforcement learning, prior methods have focused on learning skill embeddings
for a narrow range of movement styles (e.g. locomotion, game characters) from
specialized motion datasets. This limited scope hampers its applicability in
complex tasks. Our work closes this gap, significantly increasing the coverage
of motion representation space. To achieve this, we first learn a motion
imitator that can imitate all of human motion from a large, unstructured motion
dataset. We then create our motion representation by distilling skills directly
from the imitator. This is achieved using an encoder-decoder structure with a
variational information bottleneck. Additionally, we jointly learn a prior
conditioned on proprioception (humanoid's own pose and velocities) to improve
model expressiveness and sampling efficiency for downstream tasks. Sampling
from the prior, we can generate long, stable, and diverse human motions. Using
this latent space for hierarchical RL, we show that our policies solve tasks
using natural and realistic human behavior. We demonstrate the effectiveness of
our motion representation by solving generative tasks (e.g. strike, terrain
traversal) and motion tracking using VR controllers.
- Abstract（参考訳）: 物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
ヒューマノイド制御の高次元性や強化学習の難しさから、従来の手法では、特定の動きデータセットから限られた動きスタイル(例えば、移動、ゲームキャラクタ)の学習スキル埋め込みに焦点が当てられていた。
この制限されたスコープは複雑なタスクに適用性を損なう。
私たちの作品は、このギャップを閉じ、動きの表現空間の範囲を大きく増加させています。
これを実現するために、我々はまず、大きな非構造運動データセットから人間のすべての動きを模倣できる運動模倣機を学習する。
そして、イミテータから直接スキルを蒸留することで、動きの表現を作ります。
これは変分情報ボトルネックを持つエンコーダ・デコーダ構造を用いて達成される。
さらに,プロピオセプション(ヒューマノイドの姿勢と速度)に基づく事前条件を共同学習し,下流タスクのモデル表現力とサンプリング効率を向上させる。
前者からのサンプリングでは、長く、安定し、多様な人間の動きを生成できる。
階層的RLのこの潜在空間を用いて、我々のポリシーは自然で現実的な人間の行動を用いてタスクを解く。
本研究では,vrコントローラを用いた生成的タスク(ストライク,地形トラバーサルなど)と動き追跡を解決し,運動表現の有効性を示す。
関連論文リスト
- Motion Generation Review: Exploring Deep Learning for Lifelike Animation with Manifold [4.853986914715961]
人間のモーション生成は、ゲーム、バーチャルリアリティ、人間とコンピュータの相互作用で広く使われている人間の身体のポーズの自然なシーケンスを作成することを含む。
これまでの研究は、動き、音楽、テキスト、シーンの背景といった信号に基づいて、モーション生成に重点を置いてきた。
マンデラ学習は、データ次元を減らし、効果的な動きのサブスペースをキャプチャすることで解決策を提供する。
論文 参考訳（メタデータ） (2024-12-12T08:27:15Z) - Motion Prompting: Controlling Video Generation with Motion Trajectories [57.049252242807874]
スパースもしくは高密度なビデオ軌跡を条件とした映像生成モデルを訓練する。
ハイレベルなユーザリクエストを,詳細なセミセンスな動作プロンプトに変換する。
我々は、カメラや物体の動き制御、画像との「相互作用」、動画転送、画像編集など、様々な応用を通してアプローチを実証する。
論文 参考訳（メタデータ） (2024-12-03T18:59:56Z) - Monkey See, Monkey Do: Harnessing Self-attention in Motion Diffusion for Zero-shot Motion Transfer [55.109778609058154]
既存の拡散に基づく運動編集法は、事前訓練されたモデルの重みに埋め込まれた前者の深いポテンシャルを見落としている。
動きパターンのキャプチャーと表現における注目要素の役割と相互作用を明らかにする。
我々はこれらの要素を統合して、従者のニュアンス特性を維持しつつ、従者へのリーダ動作の転送を行い、結果としてゼロショット動作の転送を実現した。
論文 参考訳（メタデータ） (2024-06-10T17:47:14Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳（メタデータ） (2023-03-23T09:31:56Z) - Human MotionFormer: Transferring Human Motions with Vision Transformers [73.48118882676276]
人間の動き伝達は、運動合成のためにターゲットの動的人物からソースの静的人物に動きを伝達することを目的としている。
本稿では,世界的および地域的認識を活用して,大規模かつ微妙な動きマッチングを捉える階層型ViTフレームワークであるHuman MotionFormerを提案する。
我々のHuman MotionFormerは、定性的かつ定量的に新しい最先端のパフォーマンスをセットしている。
論文 参考訳（メタデータ） (2023-02-22T11:42:44Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳（メタデータ） (2022-10-12T19:46:25Z) - Task-Generic Hierarchical Human Motion Prior using VAEs [44.356707509079044]
人間の動きを記述する深い生成モデルは、幅広いコンピュータビジョンやグラフィックタスクに役立てることができる。
本稿では,グローバル・ローカル・ラテント・スペースの組み合わせを用いて,特定のタスクに依存しない複雑な人間の動作を学習する手法を提案する。
映像に基づく人間のポーズ推定を含む様々なタスクにおいて,階層的な動き変動自動エンコーダの有効性を実証する。
論文 参考訳（メタデータ） (2021-06-07T23:11:42Z) - Character Controllers Using Motion VAEs [9.806910643086045]
動きのvaesを用いて,人間の運動のデータ駆動生成モデルを学ぶ。
計画や制御アルゴリズムは、このアクション空間を使って望ましい動きを生成することができる。
論文 参考訳（メタデータ） (2021-03-26T05:51:41Z) - UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。
UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
論文 参考訳（メタデータ） (2020-11-30T18:51:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。