論文の概要: MoCapAct: A Multi-Task Dataset for Simulated Humanoid Control
- arxiv url: http://arxiv.org/abs/2208.07363v1
- Date: Mon, 15 Aug 2022 17:57:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 15:11:35.233113
- Title: MoCapAct: A Multi-Task Dataset for Simulated Humanoid Control
- Title（参考訳）: MoCapAct: 擬似ヒューマノイド制御のためのマルチタスクデータセット
- Authors: Nolan Wagener, Andrey Kolobov, Felipe Vieira Frujeri, Ricky Loynd,
Ching-An Cheng, Matthew Hausknecht
- Abstract要約: 私たちは、専門家エージェントとそのロールアウトのデータセットであるMoCapActをリリースします。
Dm_control内でMoCapデータセット全体を追跡可能な単一の階層的なポリシをトレーニングするために,MoCapActの有用性を実証する。
- 参考スコア（独自算出の注目度）: 15.848947335588301
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Simulated humanoids are an appealing research domain due to their physical
capabilities. Nonetheless, they are also challenging to control, as a policy
must drive an unstable, discontinuous, and high-dimensional physical system.
One widely studied approach is to utilize motion capture (MoCap) data to teach
the humanoid agent low-level skills (e.g., standing, walking, and running) that
can then be re-used to synthesize high-level behaviors. However, even with
MoCap data, controlling simulated humanoids remains very hard, as MoCap data
offers only kinematic information. Finding physical control inputs to realize
the demonstrated motions requires computationally intensive methods like
reinforcement learning. Thus, despite the publicly available MoCap data, its
utility has been limited to institutions with large-scale compute. In this
work, we dramatically lower the barrier for productive research on this topic
by training and releasing high-quality agents that can track over three hours
of MoCap data for a simulated humanoid in the dm_control physics-based
environment. We release MoCapAct (Motion Capture with Actions), a dataset of
these expert agents and their rollouts, which contain proprioceptive
observations and actions. We demonstrate the utility of MoCapAct by using it to
train a single hierarchical policy capable of tracking the entire MoCap dataset
within dm_control and show the learned low-level component can be re-used to
efficiently learn downstream high-level tasks. Finally, we use MoCapAct to
train an autoregressive GPT model and show that it can control a simulated
humanoid to perform natural motion completion given a motion prompt.
Videos of the results and links to the code and dataset are available at
https://microsoft.github.io/MoCapAct.
- Abstract（参考訳）: シミュレーションされたヒューマノイドは、その物理的能力のために魅力的な研究領域である。
それでも、政策が不安定で不連続で高次元の物理的システムを駆動する必要があるため、コントロールも困難である。
広く研究されているアプローチの1つは、モーションキャプチャ(mocap)データを使用して、ヒューマノイドエージェントの低レベルスキル(立位、歩行、ランニングなど)を教えることである。
しかし、MoCapのデータでさえ、シミュレーションされたヒューマノイドの制御は非常に困難であり、MoCapのデータはキネマティック情報のみを提供する。
実演動作を実現するための物理的な制御入力を見つけるには、強化学習のような計算集約的な方法が必要である。
したがって、一般公開されているMoCapデータにもかかわらず、そのユーティリティは大規模コンピューティングを持つ機関に限られている。
本研究では,Dm_control物理環境におけるシミュレーションヒューマノイドに対する3時間以上のMoCapデータ追跡が可能な高品質エージェントのトレーニングとリリースにより,この話題に関する生産的研究の障壁を劇的に低くする。
私たちはこれらの専門家エージェントとそのロールアウトのデータセットであるMoCapAct(Motion Capture with Actions)をリリースします。
我々は,MoCapActを使うことで,dm_control内のMoCapデータセット全体を追跡可能な単一の階層的ポリシをトレーニングし,学習した低レベルコンポーネントを再使用して下流の高レベルタスクを効率的に学習できることを実証する。
最後に,mocapactを用いて自己回帰型gptモデルを訓練し,運動プロンプトによりシミュレーションされたヒューマノイドを制御し,自然な動作完了を行うことを示す。
結果のビデオとコードとデータセットへのリンクはhttps://microsoft.github.io/MoCapAct.comで公開されている。
関連論文リスト
- FreeMotion: MoCap-Free Human Motion Synthesis with Multimodal Large Language Models [19.09048969615117]
MLLMをベースとしたユーザ制御信号として自然言語命令を用いたオープンなヒューマンモーション合成について検討する。
本手法は,多くの下流タスクにおいて,一般的な人間の動作合成を実現することができる。
論文 参考訳（メタデータ） (2024-06-15T21:10:37Z) - DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation [28.37054959647664]
人間の手の動きデータからの模倣学習は、現実世界の操作タスクにおいて、人間のような器用さでロボットを倒すための有望な道を示す。
携帯型ハンドモーションキャプチャシステムであるDexCapとDexILを紹介する。
論文 参考訳（メタデータ） (2024-03-12T16:23:49Z) - Humanoid Locomotion as Next Token Prediction [84.21335675130021]
我々のモデルは感覚運動軌道の自己回帰予測によって訓練された因果変換器である。
われわれのモデルでは、フルサイズのヒューマノイドがサンフランシスコでゼロショットで歩けることが示されている。
われわれのモデルは、わずか27時間の歩行データで訓練された場合でも現実世界に移行でき、後方歩行のような訓練中に見えないコマンドを一般化することができる。
論文 参考訳（メタデータ） (2024-02-29T18:57:37Z) - Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。
ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。
本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
論文 参考訳（メタデータ） (2023-12-28T23:34:43Z) - H-GAP: Humanoid Control with a Generalist Planner [45.50995825122686]
ヒューマノイド一般自動符号化プランナー(Humanoid Generalist Autoencoding Planner、H-GAP)は、人間のモーションキャプチャーデータから派生したヒューマノイド軌道に基づいて訓練された生成モデルである。
56自由度ヒューマノイドでは、H-GAPが幅広い運動行動の表現と生成を学習していることが実証的に証明されている。
また,H-GAPのスケーリング特性に関する実証的研究を行い,データの追加による性能向上の可能性を示した。
論文 参考訳（メタデータ） (2023-12-05T11:40:24Z) - Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。
まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。
次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
論文 参考訳（メタデータ） (2023-10-06T20:48:43Z) - Masked Motion Predictors are Strong 3D Action Representation Learners [143.9677635274393]
人間の3次元行動認識では、教師付きデータが限られており、トランスフォーマーのような強力なネットワークのモデリング能力を十分に活用することは困難である。
人間の関節において、マスク付き自己成分再構成を行うための一般的な前提に従わず、明示的な文脈運動モデリングが、3次元動作認識のための効果的な特徴表現の学習の成功の鍵となることを示す。
論文 参考訳（メタデータ） (2023-08-14T11:56:39Z) - Perpetual Humanoid Control for Real-time Simulated Avatars [77.05287269685911]
本稿では,高忠実度動作模倣と耐故障動作を実現する物理に基づくヒューマノイドコントローラを提案する。
コントローラは、外部の安定化力を使わずに1万本のモーションクリップを学習できる。
実時間およびリアルタイムのマルチパーソンアバター使用事例において,映像ベースのポーズ推定器と言語ベースのモーションジェネレータからノイズのあるポーズを模倣するために,制御器の有効性を実証する。
論文 参考訳（メタデータ） (2023-05-10T20:51:37Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳（メタデータ） (2022-10-25T01:51:36Z) - AirCapRL: Autonomous Aerial Human Motion Capture using Deep
Reinforcement Learning [38.429105809093116]
自律型空中人体モーションキャプチャ(MoCap)のための深部強化学習(RL)に基づくマルチロボット生成コントローラを提案する。
視覚に基づくMoCapに焦点をあて,体ポーズの軌跡を推定し,複数の空飛ぶ車を用いて1人の動く人物を形作る。
論文 参考訳（メタデータ） (2020-07-13T12:30:31Z) - Residual Force Control for Agile Human Behavior Imitation and Extended
Motion Synthesis [32.22704734791378]
強化学習は、モーションキャプチャーデータからヒューマノイド制御ポリシーを学習することで、現実的な人間の行動に大きな可能性を示してきた。
バレエダンスのような洗練された人間のスキルを再現することや、複雑な移行を伴う長期的な人間の振る舞いを安定して模倣することは、依然として非常に困難である。
動作空間に外部残留力を加えることでヒューマノイド制御ポリシーを強化する新しいアプローチである残留力制御(RFC)を提案する。
論文 参考訳（メタデータ） (2020-06-12T17:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。