論文の概要: SuperPADL: Scaling Language-Directed Physics-Based Control with Progressive Supervised Distillation

• arxiv url: http://arxiv.org/abs/2407.10481v1
• Date: Mon, 15 Jul 2024 07:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 16:00:42.128329
• Title: SuperPADL: Scaling Language-Directed Physics-Based Control with Progressive Supervised Distillation
• Title（参考訳）: SuperPADL:プログレッシブ・スーパービジョン蒸留による言語指向物理制御
• Authors: Jordan Juravsky, Yunrong Guo, Sanja Fidler, Xue Bin Peng,
• Abstract要約: 物理ベースのテキスト・トゥ・モーションのためのスケーラブルなフレームワークであるSuperPADLを紹介する。 SuperPADLは、RLと教師あり学習を使って、何千もの多様なモーションクリップでコントローラを訓練する。 コントローラは5000以上のスキルを含むデータセットでトレーニングされ、コンシューマGPU上でリアルタイムに動作します。
• 参考スコア（独自算出の注目度）: 55.47473138423572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Physically-simulated models for human motion can generate high-quality responsive character animations, often in real-time. Natural language serves as a flexible interface for controlling these models, allowing expert and non-expert users to quickly create and edit their animations. Many recent physics-based animation methods, including those that use text interfaces, train control policies using reinforcement learning (RL). However, scaling these methods beyond several hundred motions has remained challenging. Meanwhile, kinematic animation models are able to successfully learn from thousands of diverse motions by leveraging supervised learning methods. Inspired by these successes, in this work we introduce SuperPADL, a scalable framework for physics-based text-to-motion that leverages both RL and supervised learning to train controllers on thousands of diverse motion clips. SuperPADL is trained in stages using progressive distillation, starting with a large number of specialized experts using RL. These experts are then iteratively distilled into larger, more robust policies using a combination of reinforcement learning and supervised learning. Our final SuperPADL controller is trained on a dataset containing over 5000 skills and runs in real time on a consumer GPU. Moreover, our policy can naturally transition between skills, allowing for users to interactively craft multi-stage animations. We experimentally demonstrate that SuperPADL significantly outperforms RL-based baselines at this large data scale.
• Abstract（参考訳）: 人間の動きを物理的にシミュレートしたモデルでは、しばしばリアルタイムに、高品質なレスポンシブなキャラクターアニメーションを生成することができる。 自然言語はこれらのモデルを制御するフレキシブルなインターフェースとして機能し、専門家や非専門家のユーザはアニメーションを素早く作成し、編集することができる。 近年,テキストインタフェース,強化学習(RL)を用いたトレーニング制御ポリシなど,物理に基づく多くのアニメーション手法が提案されている。 しかし、これらの手法を数百の運動を超えて拡張することは依然として困難である。 一方、キネマティックアニメーションモデルは、教師付き学習手法を利用することで、何千もの多様な動きから学べる。 これらの成功にインスパイアされた本研究では、RLと教師あり学習の両方を活用して、何千もの多様なモーションクリップでコントローラをトレーニングする、物理学ベースのテキスト・トゥ・モーションのためのスケーラブルなフレームワークであるSuperPADLを紹介します。 SuperPADLはプログレッシブ蒸留を用いて段階的に訓練され、RLを使用する専門専門家が多数いる。 これらの専門家は、強化学習と教師あり学習を組み合わせて、より大きくより堅牢な政策に反復蒸留される。 最終SuperPADLコントローラは5000以上のスキルを含むデータセットでトレーニングされ、コンシューマGPU上でリアルタイムに動作します。 さらに、当社のポリシーはスキル間の自然な移行が可能であり、ユーザはインタラクティブにマルチステージアニメーションを作成できる。 この大規模データスケールでは,SuperPADLがRLベースのベースラインを大幅に上回っていることを実験的に実証した。

関連論文リスト

• Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control [106.32794844077534]
  本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。 本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。 この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
  論文  参考訳（メタデータ） (2024-01-30T10:48:43Z)
• Any-point Trajectory Modeling for Policy Learning [64.23861308947852]
  我々は、ビデオフレーム内の任意の点の将来の軌跡を予測するために、ATM(Any-point Trajectory Modeling)を導入する。 ATMは、強力なビデオ事前トレーニングベースラインを平均80%上回っている。 本研究では,人間の動画やビデオからの操作スキルを,異なるロボット形態から効果的に伝達する学習方法を示す。
  論文  参考訳（メタデータ） (2023-12-28T23:34:43Z)
• Universal Humanoid Motion Representations for Physics-Based Control [71.46142106079292]
  物理学に基づくヒューマノイド制御のための総合的な運動スキルを含む普遍的な運動表現を提案する。 まず、大きな非構造運動データセットから人間の動きをすべて模倣できる動き模倣機を学習する。 次に、模倣者から直接スキルを蒸留することで、動作表現を作成します。
  論文  参考訳（メタデータ） (2023-10-06T20:48:43Z)
• Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning [10.445369597014533]
  本稿では, 対向運動に基づく強化学習の概念を強化するためのアプローチを提案する。 複数のスタイルやスキルを,顕著なパフォーマンスの違いを伴わずに同時に学習できることが示される。 本手法は車輪付き四脚ロボットを用いた実世界実験で実証された。
  論文  参考訳（メタデータ） (2022-03-23T09:24:06Z)
• Data-Driven Reinforcement Learning for Virtual Character Animation Control [0.0]
  社会的行動は、世界との物理的相互作用の欠如のために、報酬関数を設計することが困難です。 本稿では,この課題に対処する新しいデータ駆動型ディープRLアプローチであるRLAnimateを提案する。 エージェント,環境,状態,行動といった要素の概念的役割を解明し,エージェントの数学的構造を定式化する。 提案手法を用いて学習したエージェントは,反復的なRL学習プロセスを用いて,多動作を表現するための汎用的アニメーション力学を学習する。
  論文  参考訳（メタデータ） (2021-04-13T17:05:27Z)
• UniCon: Universal Neural Controller For Physics-based Character Motion [70.45421551688332]
  大規模動作データセットから学習することで,異なるスタイルで数千の動作を習得する物理ベースのユニバーサルニューラルコントローラ(UniCon)を提案する。 UniConは、キーボード駆動制御をサポートし、ロコモーションとアクロバティックスキルの大きなプールから引き出されたモーションシーケンスを作成し、ビデオで撮影した人を物理ベースの仮想アバターにテレポートする。
  論文  参考訳（メタデータ） (2020-11-30T18:51:16Z)
• Residual Force Control for Agile Human Behavior Imitation and Extended Motion Synthesis [32.22704734791378]
  強化学習は、モーションキャプチャーデータからヒューマノイド制御ポリシーを学習することで、現実的な人間の行動に大きな可能性を示してきた。 バレエダンスのような洗練された人間のスキルを再現することや、複雑な移行を伴う長期的な人間の振る舞いを安定して模倣することは、依然として非常に困難である。 動作空間に外部残留力を加えることでヒューマノイド制御ポリシーを強化する新しいアプローチである残留力制御(RFC)を提案する。
  論文  参考訳（メタデータ） (2020-06-12T17:56:16Z)
• Learning Agile Robotic Locomotion Skills by Imitating Animals [72.36395376558984]
  動物の多様でアジャイルな運動スキルを再現することは、ロボット工学における長年の課題である。 そこで本研究では,現実世界の動物を模倣することで,足のロボットがアジャイルな運動能力を学ぶことができる模倣学習システムを提案する。
  論文  参考訳（メタデータ） (2020-04-02T02:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。